論文の概要: Policy-shaped prediction: avoiding distractions in model-based reinforcement learning

• arxiv url: http://arxiv.org/abs/2412.05766v1
• Date: Sun, 08 Dec 2024 00:21:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:57:23.286075
• Title: Policy-shaped prediction: avoiding distractions in model-based reinforcement learning
• Title（参考訳）: 政策型予測 : モデルに基づく強化学習における注意散逸を避ける
• Authors: Miles Hutson, Isaac Kauvar, Nick Haber,
• Abstract要約: 本研究では,事前訓練されたセグメンテーションモデルの相乗効果,タスク認識の再構築損失,および逆学習により,世界モデルの能力に焦点を合わせる方法を開発した。 提案手法は, イントラクタの影響を低減し, 頑健なモデルベース強化学習に向けての進歩である。
• 参考スコア（独自算出の注目度）: 2.0739760901716755
• License:
• Abstract: Model-based reinforcement learning (MBRL) is a promising route to sample-efficient policy optimization. However, a known vulnerability of reconstruction-based MBRL consists of scenarios in which detailed aspects of the world are highly predictable, but irrelevant to learning a good policy. Such scenarios can lead the model to exhaust its capacity on meaningless content, at the cost of neglecting important environment dynamics. While existing approaches attempt to solve this problem, we highlight its continuing impact on leading MBRL methods -- including DreamerV3 and DreamerPro -- with a novel environment where background distractions are intricate, predictable, and useless for planning future actions. To address this challenge we develop a method for focusing the capacity of the world model through synergy of a pretrained segmentation model, a task-aware reconstruction loss, and adversarial learning. Our method outperforms a variety of other approaches designed to reduce the impact of distractors, and is an advance towards robust model-based reinforcement learning.
• Abstract（参考訳）: モデルベース強化学習 (MBRL) は, サンプル効率のよい政策最適化手法として有望な方法である。 しかし、再構成に基づくMBRLの脆弱性は、世界の詳細な側面が非常に予測可能であるが、良い政策を学ぶこととは無関係なシナリオで構成されている。 このようなシナリオは、重要な環境ダイナミクスを無視して、無意味なコンテンツにその能力を消耗させる可能性がある。 既存のアプローチではこの問題を解決しようとする一方で、DreamerV3やDreamerProなど、主要なMBRLメソッドに対する継続的な影響を強調します。 この課題に対処するために,事前訓練されたセグメンテーションモデルの相乗効果,タスク認識の再構築損失,対人学習を用いて,世界モデルの能力に焦点を合わせる手法を開発した。 提案手法は, イントラクタの影響を低減し, 頑健なモデルベース強化学習に向けての進歩である。

関連論文リスト

• SAMBO-RL: Shifts-aware Model-based Offline Reinforcement Learning [9.88109749688605]
  モデルベースのオフライン強化学習は、オフラインデータセットとモデルダイナミクスに基づいたポリシーを訓練する。 本稿では,その問題をモデルバイアスとポリシーシフトという2つの重要な要素に分解する。 シフト対応モデルに基づくオフライン強化学習(SAMBO-RL)を紹介する。
  論文  参考訳（メタデータ） (2024-08-23T04:25:09Z)
• A Unified View on Solving Objective Mismatch in Model-Based Reinforcement Learning [10.154341066746975]
  モデルベース強化学習(MBRL)は、エージェントをよりサンプリング効率、適応性、説明しやすいものにすることを目的としている。 モデルをどのように学習するかは、まだ未解決の問題である。
  論文  参考訳（メタデータ） (2023-10-10T01:58:38Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• A Unified Framework for Alternating Offline Model Training and Policy Learning [62.19209005400561]
  オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。 提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。 提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-12T04:58:51Z)
• Revisiting Design Choices in Model-Based Offline Reinforcement Learning [39.01805509055988]
  オフライン強化学習により、エージェントは環境遷移の大規模な収集済みデータセットを利用して制御ポリシーを学習することができる。 本稿では、モデル数や仮想ロールアウト地平線など、他のハイパーパラメータとの相互作用を研究するための新しいプロトコルを比較し、設計する。
  論文  参考訳（メタデータ） (2021-10-08T13:51:34Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• Discriminator Augmented Model-Based Reinforcement Learning [47.094522301093775]
  学習したモデルが不正確であり、計画が損なわれ、パフォーマンスが悪くなるのは実際には一般的です。 本稿では,真の力学と学習力学の相違を考慮に入れた重要サンプリングフレームワークによる計画の改善を目的とする。
  論文  参考訳（メタデータ） (2021-03-24T06:01:55Z)
• Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning [72.18725551199842]
  BrIdging Reality and Dream (BIRD) と呼ばれる新しいモデルに基づく強化学習アルゴリズムを提案する。 虚構と実軌跡の相互情報を最大化し、虚構から学んだ政策改善を実軌跡に容易に一般化できるようにする。 提案手法は, モデルベース計画のサンプル効率を向上し, 挑戦的なビジュアル制御ベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-10-23T03:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。