論文の概要: What model does MuZero learn?

• arxiv url: http://arxiv.org/abs/2306.00840v4
• Date: Sat, 12 Oct 2024 18:15:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:04:13.253311
• Title: What model does MuZero learn?
• Title（参考訳）: MuZeroはどのようなモデルを学びますか?
• Authors: Jinke He, Thomas M. Moerland, Joery A. de Vries, Frans A. Oliehoek,
• Abstract要約: 我々は、最先端の深層モデルに基づく強化学習アルゴリズムであるMuZeroについて研究する。 この結果から, ムゼロのモデルは, 目に見えない政策を評価する際に, 一般化に苦慮していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 12.196292180411996
• License:
• Abstract: Model-based reinforcement learning (MBRL) has drawn considerable interest in recent years, given its promise to improve sample efficiency. Moreover, when using deep-learned models, it is possible to learn compact and generalizable models from data. In this work, we study MuZero, a state-of-the-art deep model-based reinforcement learning algorithm that distinguishes itself from existing algorithms by learning a value-equivalent model. Despite MuZero's success and impact in the field of MBRL, existing literature has not thoroughly addressed why MuZero performs so well in practice. Specifically, there is a lack of in-depth investigation into the value-equivalent model learned by MuZero and its effectiveness in model-based credit assignment and policy improvement, which is vital for achieving sample efficiency in MBRL. To fill this gap, we explore two fundamental questions through our empirical analysis: 1) to what extent does MuZero achieve its learning objective of a value-equivalent model, and 2) how useful are these models for policy improvement? Our findings reveal that MuZero's model struggles to generalize when evaluating unseen policies, which limits its capacity for additional policy improvement. However, MuZero's incorporation of the policy prior in MCTS alleviates this problem, which biases the search towards actions where the model is more accurate.
• Abstract（参考訳）: モデルベース強化学習(MBRL)は, サンプル効率の向上を約束して, 近年, かなりの関心を集めている。 さらに、ディープラーニングモデルを使用する場合、データからコンパクトで一般化可能なモデルを学ぶことができる。 本研究では,現在最先端の深層モデルに基づく強化学習アルゴリズムであるMuZeroについて検討する。 MuZero の成功と MBRL の分野での影響にもかかわらず、既存の文献は MuZero が実際にうまく機能する理由を十分に言及していない。 具体的には、MuZeroが学んだ価値等価モデルとそのモデルに基づく信用割当および政策改善における有効性について、詳細な調査が行われていない。 このギャップを埋めるために、我々は経験的分析を通して2つの基本的な疑問を探求する。 1)MuZeroは価値等価モデルの学習目標をどの程度達成するか。 2)これらのモデルは政策改善にどの程度有用か? この結果から, ムゼロのモデルでは, 新たな政策改善の能力を制限する未確認政策の評価において, 一般化に苦慮していることが明らかとなった。 しかし、MCTS に先立つ MuZero のポリシーの組み入れによりこの問題は緩和され、モデルがより正確であるアクションに対する探索のバイアスが生じる。

関連論文リスト

• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• A Unified View on Solving Objective Mismatch in Model-Based Reinforcement Learning [10.154341066746975]
  モデルベース強化学習(MBRL)は、エージェントをよりサンプリング効率、適応性、説明しやすいものにすることを目的としている。 モデルをどのように学習するかは、まだ未解決の問題である。
  論文  参考訳（メタデータ） (2023-10-10T01:58:38Z)
• HarmonyDream: Task Harmonization Inside World Models [93.07314830304193]
  モデルベース強化学習(MBRL)は、サンプル効率の学習を約束する。 本稿では,タスク調和性を維持するために損失係数を自動的に調整する,シンプルで効果的なアプローチであるHarmonyDreamを提案する。
  論文  参考訳（メタデータ） (2023-09-30T11:38:13Z)
• TOM: Learning Policy-Aware Models for Model-Based Reinforcement Learning via Transition Occupancy Matching [28.743727234246126]
  モデル学習のための新しい「遷移占有マッチング」 (TOM) 手法を提案する。 TOMは、現在のポリシーが実際の環境と同じモデル内で遷移の分布を経験する程度に優れている。 TOMは、政策関連体験にモデル学習を集中させ、政策をより高いタスク報酬に迅速に進めることに成功していることを示す。
  論文  参考訳（メタデータ） (2023-05-22T03:06:09Z)
• A Unified Framework for Alternating Offline Model Training and Policy Learning [62.19209005400561]
  オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。 提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。 提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-12T04:58:51Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• Value Gradient weighted Model-Based Reinforcement Learning [28.366157882991565]
  モデルベース強化学習(MBRL)は、制御ポリシーを得るための効率的な手法である。 VaGraMは価値認識モデル学習の新しい手法である。
  論文  参考訳（メタデータ） (2022-04-04T13:28:31Z)
• Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
  本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。 我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。 結果のアルゴリズム(MnM)は概念的にはGANと似ている。
  論文  参考訳（メタデータ） (2021-10-06T13:43:27Z)
• Model-Advantage Optimization for Model-Based Reinforcement Learning [41.13567626667456]
  モデルに基づく強化学習(MBRL)アルゴリズムは、伝統的に環境の正確な力学を学習するために設計されてきた。 モデル学習を最大限に活用するためのモデル学習パラダイムであるバリューアウェアモデル学習は,学習ポリシーの価値関数を通じてモデル学習に通知することを提案する。 本稿では、2つのモデルにまたがるポリシーの絶対的な性能差の上限である新しい値認識目的を提案する。
  論文  参考訳（メタデータ） (2021-06-26T20:01:28Z)
• Model-Augmented Q-learning [112.86795579978802]
  モデルベースRLの構成要素を付加したMFRLフレームワークを提案する。 具体的には、$Q$-valuesだけでなく、共有ネットワークにおける遷移と報酬の両方を見積もる。 提案手法は,MQL (Model-augmented $Q$-learning) とよばれる提案手法により,真に報いられた学習によって得られる解と同一のポリシ不変解が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-07T17:56:50Z)
• Model Embedding Model-Based Reinforcement Learning [4.566180616886624]
  モデルベース強化学習(MBRL)は、モデルフリー強化学習(MFRL)よりもサンプル効率が優れていることを示す。 しかし、データ生成の容易さとモデルのバイアスとの間には、依然としてトレードオフがある。 本稿では,確率的強化学習の枠組みとして,シンプルでエレガントなモデル埋め込み型強化学習(MEMB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。