論文の概要: Regret Minimization Experience Replay

• arxiv url: http://arxiv.org/abs/2105.07253v1
• Date: Sat, 15 May 2021 16:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 15:06:11.732258
• Title: Regret Minimization Experience Replay
• Title（参考訳）: レジスト最小化体験リプレイ
• Authors: Zhenghai Xue, Xu-Hui Liu, Jing-Cheng Pang, Shengyi Jiang, Feng Xu, Yang Yu
• Abstract要約: 優先サンプリングはRL剤の性能を向上させるための有望な手法である。 本研究では,rl政策の後悔を最小限に抑える最適な優先順位付け戦略を理論的に分析する。 RM-DisCorとRM-TCEの2つの実用的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 14.233842517210437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Experience replay is widely used in various deep off-policy reinforcement learning (RL) algorithms. It stores previously collected samples for further reuse. To better utilize these samples, prioritized sampling is a promising technique to improve the performance of RL agents. Previous prioritization methods based on temporal-difference (TD) error are highly heuristic and divergent from the objective of RL. In this work, we analyze the optimal prioritization strategy that can minimize the regret of RL policy theoretically. Our theory suggests that the data with higher TD error, better on-policiness and more corrective feedback should be assigned with higher weights during sampling. Based on this theory, we propose two practical algorithms, RM-DisCor and RM-TCE. RM-DisCor is a general algorithm and RM-TCE is a more efficient variant relying on the temporal ordering of states. Both algorithms improve the performance of off-policy RL algorithms in challenging RL benchmarks, including MuJoCo, Atari and Meta-World.
• Abstract（参考訳）: experience replayは様々な深部オフポリシー強化学習(rl)アルゴリズムで広く使われている。 以前収集したサンプルを保存して再利用する。 これらの試料をより有効活用するために, 優先サンプリングはRL剤の性能を向上させるための有望な手法である。 時間差分(TD)誤差に基づく従来の優先順位付け手法は、RLの目的から非常にヒューリスティックで相違する。 本研究では,rl政策の後悔を最小限に抑える最適な優先順位付け戦略を理論的に分析する。 提案理論は, td誤差が高く, オンポリシティが向上し, より正確なフィードバックが得られたデータは, サンプリング時に重み付けされるべきであることを示唆する。 この理論に基づいて,RM-DisCor と RM-TCE の2つの実用的なアルゴリズムを提案する。 RM-DisCorは一般的なアルゴリズムであり、RM-TCEは状態の時間順序に依存するより効率的な変種である。 どちらのアルゴリズムも、 MuJoCo、Atari、Meta-Worldなど、競合するRLベンチマークにおいて、外部のRLアルゴリズムの性能を改善している。

関連論文リスト

• RL$^3$: Boosting Meta Reinforcement Learning via RL inside RL$^2$ [12.111848705677142]
  メタRLへの入力において、従来のRLを通してタスク毎に学習されるアクション値を含むハイブリッドアプローチであるRL$3$を提案する。 RL$3$は、RL$2$と比較して、短期的にはデータ効率を保ちながら、長期的には累積的な報酬を多く得ており、アウト・オブ・ディストリビューション・タスクよりも一般化されていることを示す。
  論文  参考訳（メタデータ） (2023-06-28T04:16:16Z)
• Decoupled Prioritized Resampling for Offline RL [120.49021589395005]
  オフライン強化学習のためのオフライン優先体験再生(OPER)を提案する。 OPERは、高度に反転する遷移を優先するように設計された優先順位関数のクラスを備えており、トレーニング中により頻繁に訪問することができる。 優先順位関数のクラスは行動ポリシーの改善を誘導し、この改善されたポリシーに制約された場合、ポリシー制約付きオフラインRLアルゴリズムによりより良い解が得られる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-08T17:56:46Z)
• MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization [12.473095790918347]
  マルチエージェント問題に対する最適優先体験再生を定式化する名前を提案する。 結果として生じた政策の後悔を最小限にすることで、現在の政策と明確な最適政策とのギャップを狭めることができる。
  論文  参考訳（メタデータ） (2023-02-21T03:11:21Z)
• Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
  定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。 オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
  論文  参考訳（メタデータ） (2022-12-29T18:25:01Z)
• Deep Black-Box Reinforcement Learning with Movement Primitives [15.184283143878488]
  深部強化学習のための新しいアルゴリズムを提案する。 これは、政治的に成功したディープRLアルゴリズムである、微分可能な信頼領域層に基づいている。 複雑なロボット制御タスクにおいて,ERLアルゴリズムと最先端のステップベースアルゴリズムを比較した。
  論文  参考訳（メタデータ） (2022-10-18T06:34:52Z)
• Beyond Tabula Rasa: Reincarnating Reinforcement Learning [37.201451908129386]
  タブララ・ラサの学習は、事前の知識がなければ、強化学習(RL)研究における一般的なワークフローである。 我々は、RLエージェントの設計イテレーション間で事前の計算作業を再利用または転送するワークフローとして、RLを再導入する。 既存のアプローチはこの設定で失敗し、それらの制限に対処するための単純なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-03T15:11:10Z)
• Robust Predictable Control [149.71263296079388]
  提案手法は,従来の手法よりもはるかに厳密な圧縮を実現し,標準的な情報ボトルネックよりも最大5倍高い報酬が得られることを示す。 また,本手法はより堅牢で,新しいタスクをより一般化したポリシーを学習することを示す。
  論文  参考訳（メタデータ） (2021-09-07T17:29:34Z)
• OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation [59.469401906712555]
  より原理的な方法で過大評価を防止するオフライン強化学習アルゴリズムを提案する。 提案アルゴリズムであるOptiDICEは,最適ポリシーの定常分布補正を直接推定する。 OptiDICEは最先端の手法と競合して動作することを示す。
  論文  参考訳（メタデータ） (2021-06-21T00:43:30Z)
• RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
  我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。 画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。 スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
  論文  参考訳（メタデータ） (2021-06-04T03:08:43Z)
• Rewriting History with Inverse RL: Hindsight Inference for Policy Improvement [137.29281352505245]
  この結果から,多くのタスクを効率よく解くために,RLアルゴリズムのタンデムに逆RLを使用できることが示唆された。 実験により,逆RLを用いた学習が一般的なマルチタスク環境における学習を加速することを確認した。
  論文  参考訳（メタデータ） (2020-02-25T18:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。