論文の概要: Tree Search-Based Policy Optimization under Stochastic Execution Delay

• arxiv url: http://arxiv.org/abs/2404.05440v1
• Date: Mon, 8 Apr 2024 12:19:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 14:34:53.543691
• Title: Tree Search-Based Policy Optimization under Stochastic Execution Delay
• Title（参考訳）: 確率的実行遅延下における木探索に基づく政策最適化
• Authors: David Valensi, Esther Derman, Shie Mannor, Gal Dalal,
• Abstract要約: 遅延実行 MDP は、状態拡張に頼ることなく、ランダムな遅延に対処する新しい形式である。 観測された遅延値から、マルコフポリシーのクラスでポリシー探索を行うのに十分であることを示す。 我々はマルコフポリシーのクラスを最適化するモデルベースのアルゴリズムであるDEZを考案した。
• 参考スコア（独自算出の注目度）: 46.849634120584646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The standard formulation of Markov decision processes (MDPs) assumes that the agent's decisions are executed immediately. However, in numerous realistic applications such as robotics or healthcare, actions are performed with a delay whose value can even be stochastic. In this work, we introduce stochastic delayed execution MDPs, a new formalism addressing random delays without resorting to state augmentation. We show that given observed delay values, it is sufficient to perform a policy search in the class of Markov policies in order to reach optimal performance, thus extending the deterministic fixed delay case. Armed with this insight, we devise DEZ, a model-based algorithm that optimizes over the class of Markov policies. DEZ leverages Monte-Carlo tree search similar to its non-delayed variant EfficientZero to accurately infer future states from the action queue. Thus, it handles delayed execution while preserving the sample efficiency of EfficientZero. Through a series of experiments on the Atari suite, we demonstrate that although the previous baseline outperforms the naive method in scenarios with constant delay, it underperforms in the face of stochastic delays. In contrast, our approach significantly outperforms the baselines, for both constant and stochastic delays. The code is available at http://github.com/davidva1/Delayed-EZ .
• Abstract（参考訳）: マルコフ決定プロセス(MDP)の標準的な定式化は、エージェントの決定が直ちに実行されると仮定する。 しかし、ロボット工学や医療といった現実的な多くの応用において、その価値が確率的であるような遅延によって行動が実行される。 本研究では,確率的遅延実行 MDP を導入する。これは,状態の増大に頼らずにランダムな遅延に対処する新しい形式である。 観測された遅延値が与えられた場合、最適性能に到達するためにマルコフポリシーのクラスでポリシー探索を行うことで、決定論的固定遅延ケースを拡張できることが示される。 この知見に則り、マルコフポリシーのクラスを最適化するモデルベースのアルゴリズムであるDEZを考案した。 DEZはモンテカルロ木探索を非遅延の変種であるEfficientZeroと同様に利用し、アクションキューから将来の状態を正確に推測する。 これにより、EfficientZeroのサンプル効率を保ちながら、遅延実行を処理する。 Atari スイートの一連の実験を通して、前回のベースラインは、一定の遅延を伴うシナリオにおいて、ネーブ法よりも優れているが、確率的遅延に直面した場合、性能が劣ることを示した。 対照的に、我々の手法は、定常遅延と確率遅延の両方において、ベースラインを著しく上回る。 コードはhttp://github.com/davidva1/delayed-EZ で公開されている。

関連論文リスト

• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• Min-Max Optimization under Delays [26.830212508878162]
  大規模な機械学習問題では遅延と非同期は避けられない。 min-max最適化に類似した理論は存在しない。 たとえ小さな遅延であっても、エクストラグラディエントのような顕著なアルゴリズムが分岐する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-07-13T16:39:01Z)
• Procrastinated Tree Search: Black-box Optimization with Delayed, Noisy, and Multi-fidelity Feedback [11.064341598231195]
  ブラックボックス最適化問題では,評価やシミュレーションオラクルのフィードバックによってのみ機能にアクセス可能な未知の目的関数を最大化することを目的としている。 ProCrastinated Tree Search (PCTS) と呼ばれる階層的楽観木探索(HOO)の汎用的拡張を提案する。 我々は,PCTSの遅延,雑音,多面的フィードバックによる後悔を定量化する汎用的証明手法を提案する。
  論文  参考訳（メタデータ） (2021-10-14T08:55:41Z)
• Revisiting State Augmentation methods for Reinforcement Learning with Stochastic Delays [10.484851004093919]
  本稿では,遅延を伴うマルコフ決定過程(MDP)の概念を正式に述べる。 遅延MDPは、コスト構造が大幅に単純化された(遅延なしで)等価な標準MDPに変換可能であることを示す。 この等価性を利用して、モデルフリーな遅延分解RLフレームワークを導出し、このフレームワーク上に構築された単純なRLアルゴリズムでさえ、動作や観測の遅延を伴う環境におけるほぼ最適報酬を達成することを示す。
  論文  参考訳（メタデータ） (2021-08-17T10:45:55Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Asynchronous Stochastic Optimization Robust to Arbitrary Delays [54.61797739710608]
  遅延勾配の最適化を考えると、ステップt$毎に、アルゴリズムは古い計算を使って更新する - d_t$ for arbitrary delay $d_t gradient。 本実験は,遅延分布が歪んだり重くなったりした場合のアルゴリズムの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2021-06-22T15:50:45Z)
• Acting in Delayed Environments with Non-Stationary Markov Policies [57.52103323209643]
  本稿では,MDPにおける学習と計画のためのフレームワークについて紹介する。 実行が遅れると、元の状態空間における決定論的マルコフポリシーは最大報酬を得るのに十分であるが、非定常である必要があることを証明します。 我々は、状態拡張に頼らずに遅延実行タスクを解く非定常Q学習スタイルのモデルベースアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2021-01-28T13:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。