論文の概要: Boosting Long-Delayed Reinforcement Learning with Auxiliary Short-Delayed Task

• arxiv url: http://arxiv.org/abs/2402.03141v1
• Date: Mon, 5 Feb 2024 16:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 15:06:11.914411
• Title: Boosting Long-Delayed Reinforcement Learning with Auxiliary Short-Delayed Task
• Title（参考訳）: Auxiliary Short-Delayed Task を用いた長時間遅れ強化学習の強化
• Authors: Qingyuan Wu, Simon Sinong Zhan, Yixuan Wang, Chung-Wei Lin, Chen Lv, Qi Zhu, Chao Huang
• Abstract要約: 本稿では,長時間のタスクにおける学習を高速化する新しい補助遅延強化学習(AD-RL)を提案する。 具体的には、AD-RLは、短遅延タスクにおける値関数を学習し、長遅延タスクにおけるブートストラップとポリシー改善技術でそれを利用する。
• 参考スコア（独自算出の注目度）: 23.934684259593823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning is challenging in delayed scenarios, a common real-world situation where observations and interactions occur with delays. State-of-the-art (SOTA) state-augmentation techniques either suffer from the state-space explosion along with the delayed steps, or performance degeneration in stochastic environments. To address these challenges, our novel Auxiliary-Delayed Reinforcement Learning (AD-RL) leverages an auxiliary short-delayed task to accelerate the learning on a long-delayed task without compromising the performance in stochastic environments. Specifically, AD-RL learns the value function in the short-delayed task and then employs it with the bootstrapping and policy improvement techniques in the long-delayed task. We theoretically show that this can greatly reduce the sample complexity compared to directly learning on the original long-delayed task. On deterministic and stochastic benchmarks, our method remarkably outperforms the SOTAs in both sample efficiency and policy performance.
• Abstract（参考訳）: 強化学習は、遅延を伴う観察と相互作用が発生する一般的な現実の状況である遅延シナリオでは困難である。 state-of-the-art (sota) state-augmentation techniqueは、遅延したステップとともに状態空間の爆発に苦しむか、確率的な環境での性能低下に苦しむ。 これらの課題に対処するため,本研究では,補助的半遅延課題を活用し,長期遅延課題の学習を確率的環境における性能を損なうことなく高速化する。 具体的には、ad-rlは短い遅延タスクで値関数を学習し、長い遅延タスクでブートストラップとポリシー改善技術を採用する。 理論的には、これは元の長期遅延タスクで直接学習するよりも、サンプルの複雑さを大幅に減らすことができる。 決定論的および確率的ベンチマークでは,本手法はサンプル効率と政策性能の両方でSOTAを著しく上回っている。

関連論文リスト

• DEER: A Delay-Resilient Framework for Reinforcement Learning with Variable Delays [26.032139258562708]
  本稿では,解釈性を効果的に向上し,ランダム遅延問題に対処するためのフレームワークである$textbfDEER (Delay-Resilient-Enhanced RL)$を提案する。 様々な遅延シナリオでは、トレーニングされたエンコーダは、追加の修正を必要とせずに、標準のRLアルゴリズムとシームレスに統合することができる。 その結果, DEER は定常およびランダムな遅延設定において最先端の RL アルゴリズムよりも優れていることを確認した。
  論文  参考訳（メタデータ） (2024-06-05T09:45:26Z)
• Variational Delayed Policy Optimization [25.668512485348952]
  遅延観測環境においては、遅延ウィンドウ内での動作を含む状態拡張を採用してマルコフ特性を検索し、強化学習(RL)を可能にする。 時間差学習フレームワークを用いたSOTA(State-of-the-art)RL技術は、遅延を伴う拡張状態空間の大幅な拡張により、学習の非効率性に悩まされることが多い。 本稿では、遅延RLを変分推論問題として再構成する、変分遅延ポリシー最適化(VDPO)と呼ばれる新しいフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-23T06:57:04Z)
• Solving Continual Offline Reinforcement Learning with Decision Transformer [78.59473797783673]
  連続的オフライン強化学習(CORL)は、連続的およびオフライン的な強化学習を組み合わせたものである。 Actor-Critic構造とエクスペリエンス・リプレイ(ER)を取り入れた既存の手法は、分散シフト、低効率、知識共有の弱さに悩まされている。 我々は,マルチヘッドDT (MH-DT) とローランク適応DT (LoRA-DT) を導入し,DTの無視問題を緩和する。
  論文  参考訳（メタデータ） (2024-01-16T16:28:32Z)
• Posterior Sampling with Delayed Feedback for Reinforcement Learning with Linear Function Approximation [62.969796245827006]
  Delayed-PSVI は楽観的な値に基づくアルゴリズムであり、後続サンプリングによる雑音摂動により値関数空間を探索する。 我々のアルゴリズムは、未知の遅延が存在する場合に、$widetildeO(sqrtd3H3 T + d2H2 E[tau]$最悪の後悔を実現する。 遅延LPSVIのための勾配に基づく近似サンプリングスキームをLangevin動的に組み込んだ。
  論文  参考訳（メタデータ） (2023-10-29T06:12:43Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Reasoning with Latent Diffusion in Offline Reinforcement Learning [11.349356866928547]
  オフラインの強化学習は、静的データセットからハイリワードポリシーを学ぶ手段として、約束を守る。 オフラインRLの主な課題は、静的データセットから最適な軌道の部分を効果的に縫合することにある。 本稿では,潜在拡散の表現性を利用して,非支持軌道列を圧縮された潜在スキルとしてモデル化する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-12T20:58:21Z)
• FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [52.85536740465277]
  FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。 ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。 FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
  論文  参考訳（メタデータ） (2022-09-28T19:49:39Z)
• Revisiting State Augmentation methods for Reinforcement Learning with Stochastic Delays [10.484851004093919]
  本稿では,遅延を伴うマルコフ決定過程(MDP)の概念を正式に述べる。 遅延MDPは、コスト構造が大幅に単純化された(遅延なしで)等価な標準MDPに変換可能であることを示す。 この等価性を利用して、モデルフリーな遅延分解RLフレームワークを導出し、このフレームワーク上に構築された単純なRLアルゴリズムでさえ、動作や観測の遅延を伴う環境におけるほぼ最適報酬を達成することを示す。
  論文  参考訳（メタデータ） (2021-08-17T10:45:55Z)
• Reinforcement Learning with Random Delays [14.707955337702943]
  後方視における軌道断片の部分的再サンプリングにより、オフ・ポリティクスの多段階値推定が可能となることを示す。 この原理を適用し,遅延のある環境において,ソフト・アクタ・クライブに基づくアルゴリズムである遅延補正アクタ・クライブ(DCAC)を導出する。
  論文  参考訳（メタデータ） (2020-10-06T18:39:23Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。