論文の概要: Learning to Act with World Models by Valuing What Comes Next
- arxiv url: http://arxiv.org/abs/2611.12200v1
- Date: Mon, 09 Nov 2026 10:59:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.288366
- Title: Learning to Act with World Models by Valuing What Comes Next
- Title(参考訳): 次に何が起こるかを評価することで世界モデルで行動することを学ぶ
- Abstract要約: 端末の報酬は、エージェントにそのステップについてほとんど教えてくれません。
実際のトランジションに基づいてトレーニングされた世界モデルは、それぞれのアクションの変化を予測することができるが、予測された観察はそれ自体が成功の可能性が高くなるかどうかを示すものではない。
PPOの批評家はこの判断を、現在の政策の成功確率を見積もることによって下すが、エージェントが到達した州に限られる。
WM-PPOは2つをエレガントに結合します。
- 参考スコア(独自算出の注目度): 6.860782772782439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A sparse terminal reward tells an agent little about its steps. Much of the missing information is implicit in the environment's dynamics, because each state transition can change the conditions for success long before the reward arrives. A world model trained on real transitions can learn to predict what each action changes, but a predicted observation does not by itself show whether success has become more likely. With a binary terminal reward, PPO's critic makes this judgment by estimating the current policy's probability of success, but only for states the agent reaches. Our method, WM-PPO, elegantly brings the two together. For each action the policy samples, executed or not, the world model predicts the next observation and the critic values the predicted successor. In the policy channel, comparisons among these values give the policy auxiliary advantages; in the value channel, their mean gives the critic an auxiliary target. A shared gate weights both channels according to how reliably comparisons with similar margins predicted real outcomes earlier in training. The policy, critic and world model all learn from the agent's own interaction, with no teacher or privileged information, and only the policy is used at inference. With a comparable number of real environment steps, WM-PPO raises success from PPO's 63.5% to 87.5% on ALFWorld and from 39.3% to 52.9% on ScienceWorld. It matches the strongest PPO refinements we tested on ALFWorld and exceeds the best of them by 6.5 points on ScienceWorld. The trained policy more often completes prerequisite steps before placing an object or committing to an answer.
- Abstract(参考訳): スパースターミナルの報酬は、エージェントにそのステップについてほとんど教えてくれません。
なぜなら、各状態遷移は、報酬が到着するずっと前に、成功のための条件を変更することができるからです。
実際のトランジションに基づいてトレーニングされた世界モデルは、それぞれのアクションの変化を予測することができるが、予測された観察はそれ自体が成功の可能性が高くなるかどうかを示すものではない。
PPOの批評家はこの判断を、現在の政策の成功確率を見積もることによって下すが、エージェントが到達した州に限られる。
我々の方法であるWM-PPOは、2つをエレガントに組み合わせます。
各アクションについて、ポリシーサンプルが実行されたか否かに関わらず、世界モデルは次の観察を予測し、批評家は予測された後継者を評価します。
ポリシーチャネルでは、これらの値の比較は、ポリシー補助的な利点を与え、バリューチャネルでは、その平均は、批評家に補助的な目標を与える。
共有ゲートは、トレーニングの前の実際の成果を、類似のマージンと確実に比較する方法に応じて、両方のチャンネルを重み付けする。
政策、批評家、世界モデルは、すべてエージェント自身の相互作用から学び、教師や特権情報はなく、推論にのみ使用される。
WM-PPOは実環境の歩数に匹敵する数であり、PPOの63.5%からALFWorldの87.5%、ScienceWorldの39.3%から52.9%に上昇している。
ALFWorldでテストした最強のPPOリファインメントと一致し、ScienceWorldの6.5ポイントを超えています。
トレーニングされたポリシーは、オブジェクトを配置する前に、あるいは回答にコミットする前に、しばしば必要なステップを完了します。
関連論文リスト
- WorldFailBench: Do World Models Understand Policy Failures? [61.57923355025884]
世界モデルは、生成された環境でのクローズドループ相互作用を通じて補完経路を提供する。
最近のベンチマークでは、結果に基づく評価を通じて、政策評価者としての可能性を示している。
世界モデルは、どのように、どの段階でポリシーが失敗するかを忠実にシミュレートしますか?
論文 参考訳(メタデータ) (2026-10-24T09:33:52Z) - ProWorld: Multi-View World Model with Proprioceptive Feedback for Closed-Loop Policy Evaluation [59.713058162809176]
本研究では,行動条件付き世界モデルが,実際のロボットを追従する政策成功率を持つクローズドループテスト環境として機能するかどうかを考察する。
本稿では,多視点映像とロボット状態を共同で予測する世界モデルProWorldを紹介する。
高忠実度シミュレーションで収集した相互作用の失敗によるトレーニングを増強し、生成環境におけるインフレーション成功率を低減させる。
論文 参考訳(メタデータ) (2026-10-11T03:00:53Z) - World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning [19.962556041262435]
WMPA(World-Model Policy Arbiter)は、学習された状態空間の世界モデルにおいて、各フリーズポリシーをロールアウトするテストタイムフレームワークである。
WMPAは、次の仲裁のラウンドの前に、短いコミットメント間隔で最高スコアのポリシーを実行する。
マクロ平均の成功率は、データセット毎に選択された最良のポリシーによって達成された44%から58%に改善され、12データセットに対して統計的に有意な増加をもたらしている。
論文 参考訳(メタデータ) (2026-10-07T21:41:33Z) - Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse [0.0]
本研究では,各状態が正確に1つの履歴に到達した履歴インジェクティブ・ダイナミクスの下では,各状態ビジュアライゼーション比がサンプルプレフィックスに沿ったステップごとのポリシー比の積と等しいことを示す。
クリッピングが既に再利用バイアスを含んでいる場合、全会一致で行われる修正は、有害である。
論文 参考訳(メタデータ) (2026-09-30T12:41:43Z) - DexPolicy: Scheduled Exploration for Trajectory-Guided Dexterous Manipulation [59.77542456468077]
器用な操作のための強化学習(RL)は、指と物体の接触を発見し、その物体を正確に制御する必要がある。
我々のベースラインPPOは、5Mステップ後に最初の動作ノイズの近くで終了し、探索スケールの明示的な制御を動機付けます。
PPO, 批判のないGRPO継続, フローフリーなPPOの3つのポリシー最適化設定について検討した。
論文 参考訳(メタデータ) (2026-09-30T04:19:47Z) - EasyPPO: Stabilizing the Critic Is Key [57.76826550536797]
PPO(Proximal Policy Optimization)の主な強みは、その学習的批判である。
批判は、大規模言語モデルの強化学習における不安定性の主要な原因でもある。
EasyPPOはフルトレーニングの地平線を通して安定しており、バニラPPO、VAPO、HL-GaussPPOより一貫して優れている。
論文 参考訳(メタデータ) (2026-09-29T06:15:00Z) - Robust Multi-Agent Path Finding under Observation Attacks: A Principled Adversarial-Plus-Smoothing Training Recipe [0.0]
同一ネットワークと同一デプロイメントループを保持する2つのトレーニングレシピを提示するが、ポリシーは混乱した観察の下で維持される。
最初のレシピであるAdv-PPOは、自身の入力の最悪ケース摂動に対する共有ポリシーを訓練し、敵の摂動下でのパフォーマンスによってチェックポイントを選択する。
第二のレシピであるAdv-PPO+MACER(英語版)は、ランダム化平滑化の証明された半径に従って勾配が続く小さな政治上の滑らかさ項のチェックポイントである。
論文 参考訳(メタデータ) (2026-05-12T03:33:34Z) - Enhancing Policy Learning with World-Action Model [4.941630596191806]
World-Action Model (WAM) は行動規則化された世界モデルであり、将来の視覚的観察と状態遷移を駆動する行動について共同で理由を定めている。
WAMは、遅延状態遷移からアクションを予測するDreamerV2に、逆ダイナミクスの目的を組み込んでいる。
我々は、CALVINベンチマークから8つの操作タスクにわたるポリシー学習の強化について、WAMを評価した。
論文 参考訳(メタデータ) (2026-03-30T19:56:05Z) - Pre-Trained Policy Discriminators are General Reward Models [81.3974586561645]
政策差別学習(POLAR)という,スケーラブルな事前学習手法を提案する。
POLARは報酬モデル(RM)を訓練し、同一のポリシーを識別し、異なるポリシーを識別する。
実証実験の結果、POLARは従来の非事前学習法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2025-07-07T16:56:31Z) - Supervised Off-Policy Ranking [145.3039527243585]
オフポリシー評価(OPE)は、他のポリシーによって生成されたデータを活用して、ターゲットポリシーを評価する。
本稿では,訓練方針と既知の実績を正しくランク付けすることで,政策スコアリングモデルを学習する教師付き非政治ランキングを提案する。
本手法は,上位3つのポリシーのうち,最良と最良の双方のランク相関と性能差の両面から,強力なベースラインOPE法より優れる。
論文 参考訳(メタデータ) (2021-07-03T07:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。