論文の概要: What Matters for World Modeling in Vision-Language-Action Models?
- arxiv url: http://arxiv.org/abs/2610.19825v1
- Date: Wed, 14 Oct 2026 09:01:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.060987
- Title: What Matters for World Modeling in Vision-Language-Action Models?
- Title（参考訳）: ビジョン・ランゲージ・アクション・モデルにおける世界モデリングの課題
- Abstract要約: VLA(Vision-Language-Action Model)への世界モデルの統合は、将来的なダイナミクスを予測可能な、有望な方向性として現れている。
我々は、既存の取り組みを、Implicit Future Alignment、Explicit Future Query、MoT Future Expert、External World Predictorの4つの代表的なパラダイムに分類する。
1)世界表現の有効性はパラダイムに依存しているのに対し、2Dセマンティック表現は堅牢でパラダイム横断的なゲインを提供する; 2) 単一のパラダイムは普遍的に最適ではないが、疎結合のMoT Future Expertは総合的なパフォーマンスを提供する; 4)世界モデリングはアクションのみのベースラインよりもパフォーマンスを向上させる。
- 参考スコア（独自算出の注目度）: 23.40831784917559
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Integrating world models into Vision-Language-Action models (VLAs) has emerged as a promising direction, enabling policies to anticipate future dynamics beyond reactive observation-to-action mapping. However, existing approaches vary simultaneously in their world representations, integration paradigms, and policy backbones, making it difficult to determine what truly matters for effective world model integration. To disentangle these factors, we categorize existing efforts into four representative paradigms, namely Implicit Future Alignment, Explicit Future Query, MoT Future Expert, and External World Predictor. We instantiate each within a unified framework and systematically evaluate these paradigms with diverse world representations and policy backbones across in-domain, out-of-domain, long-horizon, dynamic, few-shot, and real-world settings. Our study yields four main findings: 1) world representation effectiveness is paradigm-dependent, whereas 2D semantic representations offer robust, cross-paradigm gains; 2) no single paradigm is universally optimal, yet the decoupled MoT Future Expert offers competitive overall performance, particularly in OOD robustness; 3) world modeling consistently benefits policies built on standard VLMs, while decoupled designs exhibit greater compatibility with pretrained VLAs; and 4) world modeling improves performance over action-only baselines across multiple settings, with notable gains on long-horizon and dynamic tasks. Project page and video demonstrations are available at https://dylanmqs.github.io/WM-in-VLAs/.
- Abstract（参考訳）: 世界モデルをVLA(Vision-Language-Action Model)に統合することは、将来的な方向性として現れ、反応観察からアクションマッピングまでの将来のダイナミクスを予測できる。
しかし、既存のアプローチは、それぞれの世界表現、統合パラダイム、ポリシーバックボーンにおいて同時に異なるため、効果的な世界モデル統合にとって本当に重要なものを決定することは困難です。
これらの要因を解消するために、我々は既存の取り組みを、Implicit Future Alignment、Explicit Future Query、MoT Future Expert、External World Predictorの4つの代表的なパラダイムに分類する。
統一されたフレームワーク内で各パラダイムをインスタンス化し、ドメイン内、ドメイン内、ドメイン外、長期水平、動的、少数ショット、実世界の設定にまたがる多様な世界表現とポリシーバックボーンでこれらのパラダイムを体系的に評価する。
私たちの研究は4つの主要な発見をもたらす。
1)世界表現の効率性はパラダイムに依存しているのに対し、2次元意味表現は堅牢でパラダイム横断的な利得を提供する。
2) 一つのパラダイムが普遍的に最適ではないが、疎結合のMoT Future Expertは、特にOODの堅牢性において、競争全体のパフォーマンスを提供する。
3)世界モデリングは、標準VLM上に構築されたポリシーを一貫して活用する一方、疎結合設計では、事前訓練されたVLAとの互換性が向上する。
4)ワールド・モデリングは、複数の設定でアクションのみのベースラインよりもパフォーマンスが向上し、ロングホライゾンや動的タスクが顕著に向上する。
プロジェクトページとビデオデモはhttps://dylanmqs.github.io/WM-in-VLAs/で公開されている。
関連論文リスト
- AWM-VLA: AlignedWorld Modeling for Efficient and Explainable Vision-Language-Action Policies [24.745715007832953]
AWM-VLAは拡散変圧器のポリシーに直接整列世界モデリングを組み込む。
RoboCasaとヒューマノイドテーブルトップ操作ベンチマークでは、AWM-VLAはVLA以前のベースラインとワールドモデルのベースラインを最大21%向上させる。
論文 参考訳（メタデータ） (2026-08-15T04:25:57Z) - WorldBagel: Uncovering the Power of Unified Multimodal Models for Vision-Language-Action-World Modeling [53.14409745466386]
世界モデルは、知覚、推論、行動をサポートする方法で環境力学を捉えることを目的としている。
我々は,現代のマルチモーダル統一モデルであるBAGEL上に構築された統一VLAWフレームワークであるtextttWorldBagelを紹介した。
textttWorldBagelは、タスク固有の代替品を一貫して上回り、より構造化され、視覚的および言語的コンテキストにセマンティックに整合したアクション表現を学ぶ。
論文 参考訳（メタデータ） (2026-07-03T16:18:20Z) - ReWorld: Learning Better Representations for World Action Models [41.92917169094194]
世界行動モデル(WAM)は、行動条件下での将来の環境進化をモデル化する。
WAM向けに設計された最初の表現学習フレームワークであるReWorldを提案する。
ReWorldは、FVDの微調整ビデオ生成を23.9%改善することを示す。
論文 参考訳（メタデータ） (2026-06-25T19:37:58Z) - WorldArena 2.0: Extending Embodied World Model Benchmarking on Modality, Functionality and Platform [130.8118909583659]
本稿では,世界モデル評価のための拡張ベンチマークであるWorldArena 2.0を紹介する。
WorldArena 2.0は、モダリティ、機能、プラットフォームという3つの次元で、具現化された世界モデルの評価を体系的に拡張する。
WorldArena 2.0は、標準化されたプロトコルの下で、知覚品質、インタラクティブなユーティリティ、クロスプラットフォームのパフォーマンスを包括的に評価する。
論文 参考訳（メタデータ） (2026-05-18T06:18:21Z) - World Action Models: The Next Frontier in Embodied AI [123.5787299299832]
VLA(Vision-Language-Action)モデルは、具体的政策学習のための強力なセマンティックな一般化を実現している。
彼らは、物理的な世界が介入の下でどのように進化するかを明示的にモデル化することなく、リアクティブな観察から行動へのマッピングを学ぶ。
成長するこの制限には、世界モデル、環境ダイナミクスの予測モデル、アクション生成パイプラインを統合することで対処する。
論文 参考訳（メタデータ） (2026-05-12T13:10:52Z) - DriveDreamer-Policy: A Geometry-Grounded World-Action Model for Unified Generation and Planning [44.543763428623976]
DriveDreamer-Policyは、深度生成、将来のビデオ生成、モーションプランニングを統合した統合運転ワールドアクションモデルである。
提案したモデルは、モジュラリティと遅延制御性を維持しながら、より一貫性のある未来とより情報のある駆動動作を生成する。
論文 参考訳（メタデータ） (2026-04-02T08:33:18Z) - FRAPPE: Infusing World Modeling into Generalist Policies via Multiple Future Representation Alignment [45.21358158991569]
VLAモデルは、世界モデリングとして知られる環境力学を予測することができる。
現在のアプローチでは,1) セマンティックラーニングと一般化を制約する画素レベルの再構成を過度に強調する訓練対象モデル,2) 推論中に予測される将来の観測への信頼が,しばしばエラーの蓄積につながる,という2つの問題に直面している。
これらの課題に対処するために、並列プログレッシブ拡張(FRAPPE)を介して、Future Representation Alignmentを導入する。
論文 参考訳（メタデータ） (2026-02-19T11:00:46Z) - Co-Evolving Latent Action World Models [57.48921576959243]
学習済みのビデオモデルを潜在アクションを介して制御可能な世界モデルに適応させることは、ジェネラリストの世界モデルを作成するための有望なステップである。
本稿では,この相乗的パラダイムを初めて実現したCoLA-Worldを提案する。
世界モデルは知識のある家庭教師として機能し、高品質のLAMを形成するための勾配を提供する。
論文 参考訳（メタデータ） (2025-10-30T12:28:40Z) - LaDi-WM: A Latent Diffusion-based World Model for Predictive Manipulation [45.02469804709771]
拡散モデルを用いて将来の状態の潜伏空間を予測する世界モデルLaDi-WMを提案する。
LIBERO-LONGベンチマークでは,LaDi-WMが27.9%,現実シナリオでは20%,政策性能が著しく向上することを示した。
論文 参考訳（メタデータ） (2025-05-13T04:42:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。