論文の概要: On the Capability Separation Between World-Model Policy Learning and Imitated World-Action Models
- arxiv url: http://arxiv.org/abs/2608.22197v1
- Date: Sun, 23 Aug 2026 03:25:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.649193
- Title: On the Capability Separation Between World-Model Policy Learning and Imitated World-Action Models
- Title（参考訳）: World-Model Policy LearningとImitated World-Action Modelの能力分離について
- Abstract要約: 我々は,行動閉鎖政策,模倣訓練された世界行動政策,行動条件付き世界モデルに最適化された政策を比較した。
将来の予測は、学習因子化を変えるが、制約のない外部ポリシークラスや理想的な模倣ターゲットは変えない。
- 参考スコア（独自算出の注目度）: 3.79187263097166
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World-action models predict a future outcome and then infer an associated action. Although this factorization can improve representation learning and data efficiency, it is unclear whether it provides stronger control capability than direct behavior cloning when both are trained from the same observational demonstrations. We compare a direct behavior-cloning policy, an imitation-trained world-action policy, and a policy optimized with an action-conditioned world model. At the controller-class level, every world-action policy can be flattened into a direct stochastic policy with the same closed-loop trajectory distribution. At the population level, under realizability, exact optimization, common deployment information, and distribution-preserving deployment, direct behavior cloning and world-action imitation both recover the observational behavior policy. Thus, future prediction changes the learning factorization but not the unrestricted external policy class or ideal imitation target. Action-conditioned world-model learning differs by predicting outcomes under specified actions and comparing them through a control objective. We characterize the irreducible action-specific prediction error of future models that do not condition on the candidate action, identify conditions under which a world-action joint can recover an interventional forward model, and show that observational demonstrations do not identify action effects in general. Finally, we construct an environment family in which every observational learner has positive worst-case regret, whereas one informative intervention permits zero regret. The key distinction is therefore between predicting futures associated with observed behavior and predicting consequences of specified actions for policy optimization.
- Abstract（参考訳）: 世界行動モデルは将来の結果を予測し、関連する行動を予測する。
この因子化は、表現学習とデータ効率を改善することができるが、両者が同じ観察実験から訓練された場合、直接行動クローニングよりも強力な制御能力を提供するかどうかは不明である。
我々は,行動閉鎖政策,模倣訓練された世界行動政策,行動条件付き世界モデルに最適化された政策を比較した。
コントローラクラスレベルでは、すべてのワールドアクションポリシーは、同じ閉ループ軌道分布を持つ直接確率ポリシーにフラット化することができる。
人口レベルでは、実現可能性、正確な最適化、共通展開情報、分布保存展開、直接行動クローニング、世界行動模倣が観察行動ポリシーを回復させる。
したがって、将来の予測は学習因子化を変化させるが、制約のない外部ポリシークラスや理想的な模倣ターゲットは変えない。
行動条件付き世界モデル学習は、特定の行動下での結果を予測し、制御対象を通してそれらを比較することによって異なる。
提案手法は, 将来のモデルにおいて, 想定された行動に条件がない場合の予測誤差を特徴付けるとともに, 干渉前方モデルの回復が可能な条件を同定し, 一般には, 観察的実証が行動効果を識別しないことを示す。
最後に,すべての観察学習者が肯定的な最悪の後悔を負う環境ファミリを構築する一方で,情報的介入によってゼロ後悔を許す環境ファミリを構築する。
したがって、観察行動に関連する未来を予測することと、政策最適化のための特定の行動の結果を予測することとを区別する。
関連論文リスト
- Large Discrete Policy: Advancing Explicit Behavior Modeling with Stochastic Iterative Scoring [77.17706435067372]
大規模ポリシー(LDiP)は、物理的に妥当な候補の大きな語彙から行動を選択する、完全に独立した行動モデリングフレームワークである。
摂動作用ではなく、LDiPは反復的なスコアリングによって表現性を向上する。
エンド・ツー・エンドの計画、クローズドループ・ドライブ、ロボット操作、ビジョン・ランゲージ・アクション・セッティングを通じて、LDiPは強い離散的かつ連続的なベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-09-07T05:12:52Z) - Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning [53.77164209208635]
本稿では,視覚的整合性と軌跡アライメントを用いて,より広い行動分布を探索するWorldEchoを紹介する。
本稿では,3つの軸に沿った行動(分布カバレッジ,表現的接地,介入効果のアライメント)を強化するWorldSyncを提案する。
RoboTwinベンチマークと実ロボットタスクの実験は、WorldSyncがWorldEchoメトリクスを改善し、反復的なポリシー改善のためのより信頼性の高いシミュレータとして機能していることを示している。
論文 参考訳（メタデータ） (2026-08-25T17:59:49Z) - Predicting Consequences and Reinforcing Navigation Policies with Latent World Models [31.865100130203317]
ロボットナビゲーションのためのLWM(Latent World Model)を提案する。
我々の重要な洞察は、空間的近接は潜在的特徴の類似性と相関し、潜在的空間において行動結果を直接評価できるということである。
提案手法は,予測精度,ポリシー学習,実世界のナビゲーション性能において,前世界モデルと模倣学習法を著しく上回っている。
論文 参考訳（メタデータ） (2026-08-23T11:58:42Z) - IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。
IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。
政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
論文 参考訳（メタデータ） (2026-08-11T08:20:02Z) - On the Identifiability of Controlled World Models [34.31084112465058]
本稿では,ガウス潜在状態を持つ制御された世界モデルに対する合同識別可能性条件を提案する。
この条件が成立すると、LeJEPAスタイルの予測目標の最小化が潜伏状態と制御力学の両方を回復できることを示す。
また、最も弱い条件-励起マージンで逆スケールする反事実予測誤差の達成可能な増幅を特徴付ける。
論文 参考訳（メタデータ） (2026-07-24T15:49:12Z) - Feedback World Model Enables Precise Guidance of Diffusion Policy [36.965417653906535]
本稿では,推定時刻における予測と観測のループを閉じる新たなパラダイムであるフィードバック・ワールド・モデルを提案する。
本手法は,分布シフト時の予測精度とポリシー性能を大幅に向上することを示す。
特に、世界モデルの予測誤差を最大76.4%削減し、アウト・オブ・ディストリビューション(OOD)の成功率を30%改善する。
論文 参考訳（メタデータ） (2026-05-15T07:52:13Z) - HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。
HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。
実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
論文 参考訳（メタデータ） (2026-05-11T17:59:56Z) - PROWL: Prioritized Regret-Driven Optimization for World Model Learning [20.10187986360715]
我々は,拡散に基づく世界モデルの高次軌道を公開するための政策を訓練する,KL制約の逆行カリキュラムを導入する。
提案手法をMineRLフレームワークで実装し, 既設のアウト・オブ・ディストリビューション・トラジェクトリで評価する。
論文 参考訳（メタデータ） (2026-05-11T14:24:19Z) - AGWM: Affordance-Grounded World Models for Environments with Compositional Prerequisites [18.635313325437664]
我々は,行動の動的実行可能性を明確に追跡するために,前提条件依存のDAGとして表される抽象的な空き構造を学習するAGWM(Affordance-Grounded World Model)を提案する。
ゲームベースのシミュレーション環境の実験では、より低いマルチステップ予測誤差、新しい構成へのより良い一般化、解釈可能性の向上により、本手法の有効性が示された。
論文 参考訳（メタデータ） (2026-05-07T18:46:44Z) - World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry [82.93104394404781]
汎用世界モデルは、スケーラブルなポリシー評価、最適化、計画を約束します。
本稿では,世界モデルによる予測誤りと自己改善を識別するフレームワークであるWorld Action Verifier(WAV)を提案する。
論文 参考訳（メタデータ） (2026-04-02T12:48:36Z) - ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning [90.41852663775086]
ACT-JEPAは模倣学習と自己教師型学習を統合する新しいアーキテクチャである。
我々はアクションシーケンスと抽象的な観察シーケンスを予測するポリシーを訓練する。
実験の結果,ACT-JEPAは時間環境の動的学習によって表現の質を向上させることがわかった。
論文 参考訳（メタデータ） (2025-01-24T16:41:41Z) - Policy-Guided Diffusion [30.4597043728046]
多くの現実世界の設定では、エージェントは以前の行動ポリシーによって収集されたオフラインデータセットから学ぶ必要がある。
本稿では,自己回帰的オフライン世界モデルに代わる政策誘導拡散法を提案する。
本研究では,政策誘導拡散モデルが目標分布の正規化形態をモデル化し,目標と行動の両ポリシの下で行動可能性のバランスをとることを示す。
論文 参考訳（メタデータ） (2024-04-09T14:46:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。