論文の概要: From World Models to World Action Models: Rethinking Next-State Prediction
- arxiv url: http://arxiv.org/abs/2609.34414v1
- Date: Mon, 28 Sep 2026 06:30:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 20:53:39.755341
- Title: From World Models to World Action Models: Rethinking Next-State Prediction
- Title(参考訳): 世界モデルから世界アクションモデルへ:次世代予測の再考
- Abstract要約: CF-WAMは,視覚,意味,幾何学,相互作用のプロジェクションを抽出する動的次世代予測フレームワークである。
CF-WAMはトレーニング効率と最終制御性能の両方を向上し,ヒューマンエクスペリエンスを効果的にポリシーゲインに変換する。
- 参考スコア(独自算出の注目度): 30.7373864707713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predicting the next state is a core paradigm of World Models for modeling physical dynamics, emphasizing prediction fidelity. As World Models evolve into World-Action Models (WAMs), existing methods still fix the next state before training as RGB, a single latent feature, or a static combination of predefined targets, thereby constraining action learning to the inductive biases preserved by a particular representation. To address this limitation, we propose CF-WAM, a dynamic next-state prediction framework that samples visual, semantic, geometric, and interaction projections of the same future, standardizes them into a common video form, and supervises a unified WAM across these projections. The action-relevant constraints exposed by these projections accumulate across training steps, forcing WAM to capture the underlying state-transition structure that supports multiple projections of the same action-conditioned future. This dynamic mechanism also provides a natural cross-embodiment dynamics reference frame for Human and Robot learning. By jointly learning across different next-state parameterizations, heterogeneous Human and Robot experience can bypass appearance differences and directly contribute to shared state-transition learning, improving cross-embodiment generalization. Experiments show that CF-WAM improves both training efficiency and final control performance, while translating Human experience effectively into policy gains. CF-WAM achieves state-of-the-art performance on RoboCasa-GR1 with an average success rate of 82.50%, while reaching 82.65% on LIBERO-Plus and up to 84.00% in real-world evaluations.
- Abstract(参考訳): 次の状態を予測することは、物理力学をモデル化するための世界モデルの中核的なパラダイムであり、予測忠実さを強調している。
World Models が World-Action Models (WAMs) に進化するにつれて、既存のメソッドはRGB、単一の潜在機能、あるいは事前定義されたターゲットの静的な組み合わせとしてトレーニング前に次の状態を固定し、それによって特定の表現によって保存される帰納的バイアスにアクション学習を制約する。
CF-WAMは,視覚的,意味的,幾何学的,インタラクションのプロジェクションを抽出し,それらを共通のビデオ形式に標準化し,それらのプロジェクションを一貫したWAMを監督する動的次世代予測フレームワークである。
これらのプロジェクションによって露呈されるアクション関連制約は、トレーニングステップにまたがって蓄積され、WAMは同じアクション条件の複数のプロジェクションをサポートする基礎となる状態遷移構造をキャプチャせざるを得ない。
この動的メカニズムはまた、人間とロボットの学習のための自然なクロス・エボディメント・ダイナミックス参照フレームを提供する。
異なる次状態パラメーター化を共同で学習することにより、異質な人間とロボットの経験は外観の違いを回避し、共有状態遷移学習に直接貢献し、異体間一般化を改善する。
実験の結果,CF-WAMはトレーニング効率と最終制御性能を向上し,ヒューマンエクスペリエンスを効果的に政策ゲインに翻訳することがわかった。
CF-WAMはRoboCasa-GR1の最先端性能を平均82.50%で達成し、LIBERO-Plusでは82.65%、実世界の評価では84.00%に達する。
関連論文リスト
- PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models [60.567497085815724]
PhysBrain 1.5は、物理的な環境を理解し、アクションを生成し、将来の状態を予測するための統一モデルである。
事前トレーニングは、人間のインタラクションビデオから完全に具体化された監督を引き出す。
一般的なマルチモーダル機能を維持しながら、14のベンチマークで最高のオープンソース結果を達成する。
論文 参考訳(メタデータ) (2026-09-14T03:25:46Z) - JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling [23.76460420882974]
我々は,事前訓練されたV-JEPA空間に構築された潜水型WAMであるJEPA-WAMを紹介する。
遅延遷移予測と、共有予測器による連続的なアクション生成を結合する。
LIBERO-Plusでは、JEPA-WAMは79.2%を達成し、大規模なロボット政策の事前訓練を行わない最も良い結果となった。
論文 参考訳(メタデータ) (2026-08-10T09:57:54Z) - From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence [54.62791372989525]
アクションモデル、ビジョン言語-アクションポリシー、世界モデルは、この目標を前進させた。
世界行動モデル(WAM)は、候補者の介入と予測された結果とを結びつけるため、特に有望である。
我々は、WAMへの進化をレビューし、これらの制限をモデルの役割と表現、目的と標準化、システム構成という3つの組み合わせのギャップにまとめる。
論文 参考訳(メタデータ) (2026-07-13T15:22:56Z) - SCAR: Self-Supervised Continuous Action Representation Learning [36.917304453471864]
視覚的遷移から具現化された動作表現を学習するための共同逆フォワード動的フレームワークであるSCARを提案する。
事前訓練された生成バックボーン上に構築されたSCARは、逆ダイナミクスモデル(IDM)を使用して、潜時観測ペアから潜時動作を推論し、フォワードダイナミクスモデル(FDM)を用いて、それらに条件付けられた将来のダイナミクスを予測する。
Procgen と Robotwin のデータセットの実験により、学習された統合潜在行動表現は、具体化固有の生の行動よりも、世界モデリングのためのより強い条件付けインターフェースとして機能することが示された。
論文 参考訳(メタデータ) (2026-05-13T16:23:11Z) - World Action Models: The Next Frontier in Embodied AI [123.5787299299832]
VLA(Vision-Language-Action)モデルは、具体的政策学習のための強力なセマンティックな一般化を実現している。
彼らは、物理的な世界が介入の下でどのように進化するかを明示的にモデル化することなく、リアクティブな観察から行動へのマッピングを学ぶ。
成長するこの制限には、世界モデル、環境ダイナミクスの予測モデル、アクション生成パイプラインを統合することで対処する。
論文 参考訳(メタデータ) (2026-05-12T13:10:52Z) - HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。
HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。
実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
論文 参考訳(メタデータ) (2026-05-11T17:59:56Z) - Grounded World Model for Semantically Generalizable Planning [94.53923128709965]
我々は、視覚言語対応の潜在空間において、グラウンドドワールドモデル(GWM)を学習する。
提案された各アクションは、タスク命令に対する将来の結果がどの程度近いかに基づいてスコアされる。
提案したWISERベンチマークでは、GWM-MPCはテストセットで87%の成功率を達成した。
論文 参考訳(メタデータ) (2026-04-13T17:25:41Z) - Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
本稿では, 自己補正VLA (SC-VLA) を提案する。
SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
論文 参考訳(メタデータ) (2026-02-25T06:58:06Z) - FRAPPE: Infusing World Modeling into Generalist Policies via Multiple Future Representation Alignment [45.21358158991569]
VLAモデルは、世界モデリングとして知られる環境力学を予測することができる。
現在のアプローチでは,1) セマンティックラーニングと一般化を制約する画素レベルの再構成を過度に強調する訓練対象モデル,2) 推論中に予測される将来の観測への信頼が,しばしばエラーの蓄積につながる,という2つの問題に直面している。
これらの課題に対処するために、並列プログレッシブ拡張(FRAPPE)を介して、Future Representation Alignmentを導入する。
論文 参考訳(メタデータ) (2026-02-19T11:00:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。