論文の概要: Dual policy as self-model for planning

• arxiv url: http://arxiv.org/abs/2306.04440v2
• Date: Sun, 11 Jun 2023 12:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 21:18:42.076780
• Title: Dual policy as self-model for planning
• Title（参考訳）: 計画の自己モデルとしてのデュアルポリシー
• Authors: Jaesung Yoo, Fernanda de la Torre, Guangyu Robert Yang
• Abstract要約: エージェントの自己モデルとして決定をシミュレートするために使用されるモデルについて述べる。 現在の強化学習アプローチと神経科学にインスパイアされた我々は、蒸留政策ネットワークを自己モデルとして利用することの利点と限界を探求する。
• 参考スコア（独自算出の注目度）: 71.73710074424511
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Planning is a data efficient decision-making strategy where an agent selects candidate actions by exploring possible future states. To simulate future states when there is a high-dimensional action space, the knowledge of one's decision making strategy must be used to limit the number of actions to be explored. We refer to the model used to simulate one's decisions as the agent's self-model. While self-models are implicitly used widely in conjunction with world models to plan actions, it remains unclear how self-models should be designed. Inspired by current reinforcement learning approaches and neuroscience, we explore the benefits and limitations of using a distilled policy network as the self-model. In such dual-policy agents, a model-free policy and a distilled policy are used for model-free actions and planned actions, respectively. Our results on a ecologically relevant, parametric environment indicate that distilled policy network for self-model stabilizes training, has faster inference than using model-free policy, promotes better exploration, and could learn a comprehensive understanding of its own behaviors, at the cost of distilling a new network apart from the model-free policy.
• Abstract（参考訳）: プランニングはデータ効率の良い意思決定戦略であり、エージェントが潜在的な将来の状態を探索して候補アクションを選択する。 高次元のアクション空間が存在する場合の将来の状態をシミュレートするためには、探索すべきアクションの数を制限するために、自分の意思決定戦略の知識を使わなければならない。 エージェントの自己モデルとして決定をシミュレートするために使用されるモデルについて述べる。 自己モデルは世界モデルと協調して行動計画に広く利用されているが、自己モデルがどのように設計されるべきかは定かではない。 現在の強化学習アプローチと神経科学に触発され、蒸留政策ネットワークを自己モデルとして用いる利点と限界を探求する。 このような二重政治エージェントでは、モデルフリーの政策と蒸留された政策がそれぞれモデルフリーの行動と計画された行動に使用される。 本研究は, 自己モデル構築のための蒸留政策ネットワークが訓練を安定させ, モデルフリー政策よりも高速な推論を行い, より優れた探索を行い, モデルフリー政策とは別に新たなネットワークを蒸留するコストで, 自己行動の包括的理解を学べることを示した。

関連論文リスト

• COPlanner: Plan to Roll Out Conservatively but to Explore Optimistically for Model-Based RL [50.385005413810084]
  ダイナスタイルのモデルベース強化学習には、ポリシー学習と実環境探索のためのサンプルを生成するモデルロールアウトという2つのフェーズが含まれる。 $textttCOPlanner$は、不正確な学習された動的モデル問題に対処するモデルベースのメソッドのための計画駆動フレームワークである。
  論文  参考訳（メタデータ） (2023-10-11T06:10:07Z)
• Fully Decentralized Model-based Policy Optimization for Networked Systems [23.46407780093797]
  本研究の目的は,モデルベース学習によるマルチエージェント制御のデータ効率の向上である。 エージェントが協力的であり、隣人とのみローカルに通信するネットワークシステムについて検討する。 提案手法では,各エージェントが将来の状態を予測し,通信によって予測をブロードキャストする動的モデルを学習し,その後,モデルロールアウトに基づいてポリシーをトレーニングする。
  論文  参考訳（メタデータ） (2022-07-13T23:52:14Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• An Offline Risk-aware Policy Selection Method for Bayesian Markov Decision Processes [0.0]
  Exploitation vs. Caution (EvC) はベイズ形式主義のモデル不確実性をエレガントに取り入れたパラダイムである。 我々は,多種多様なMDPクラスを提供する異なる離散的かつシンプルな環境において,最先端のアプローチでEvCを検証する。 テストシナリオでは、EvCは堅牢なポリシーを選択することができ、実践者にとって有用なツールとして際立っている。
  論文  参考訳（メタデータ） (2021-05-27T20:12:20Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)
• Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
  現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。 その微分可能性を利用してモデルをより効果的に活用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-16T19:18:10Z)
• Policy-Aware Model Learning for Policy Gradient Methods [29.129883702165774]
  本稿では,モデルベース強化学習(MBRL)におけるモデル学習の問題について考察する。 モデル学習モジュールは、プランナーがモデルを使う方法を取り入れるべきである。 このアプローチをPAML(Policy-Aware Model Learning)と呼ぶ。
  論文  参考訳（メタデータ） (2020-02-28T19:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。