論文の概要: AWM-VLA: AlignedWorld Modeling for Efficient and Explainable Vision-Language-Action Policies
- arxiv url: http://arxiv.org/abs/2609.27753v1
- Date: Sat, 15 Aug 2026 04:25:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.957529
- Title: AWM-VLA: AlignedWorld Modeling for Efficient and Explainable Vision-Language-Action Policies
- Title(参考訳): AWM-VLA:高能率かつ説明可能なビジョンランゲージ・アクション・ポリシーのためのアラインドワールドモデリング
- Abstract要約: AWM-VLAは拡散変圧器のポリシーに直接整列世界モデリングを組み込む。
RoboCasaとヒューマノイドテーブルトップ操作ベンチマークでは、AWM-VLAはVLA以前のベースラインとワールドモデルのベースラインを最大21%向上させる。
- 参考スコア(独自算出の注目度): 24.745715007832953
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models have become a powerful paradigm for generalist robotic manipulation, yet they are often reactive: the policy maps the current observation directly to an action chunk without reasoning about the long-term consequences of its decisions. Prior attempts to endow policies with world models either reconstruct future frames in pixel space---expensive and dominated by task-irrelevant detail---or decouple the world model from the policy, weakening control. We present AWM-VLA, a unified framework that embeds aligned world modeling directly inside a diffusion-transformer policy. Following the Future Latent REpresentation Alignment (FLARE) principle, we add learnable future tokens whose intermediate activations are aligned with vision-language embeddings of future observations, enabling the policy to anticipate long-term consequences while generating actions. We extend this paradigm in two ways. First, we introduce an object-centric decoupled alignment objective that predicts future object-level semantics alongside the global future embedding, improving both interpretability and multi-instruction generalization. Second, we balance the global and object-centric alignment terms against the action flow-matching loss through a principled weighting, yielding a controllable accuracy--interpretability trade-off. On RoboCasa and humanoid tabletop manipulation benchmarks, AWM-VLA outperforms prior VLA and world-model baselines by up to 21% in success rate, improves generalization to novel objects and instructions, and produces object-centric rationales that are preferred by human raters in 83 of cases. Our approach adds only a few learnable tokens to the policy and is compatible with any diffusion or flow-matching policy, making aligned world modeling an inexpensive, broadly applicable component of generalist manipulation.
- Abstract(参考訳): ビジョン言語アクション(VLA)モデルは、一般的なロボット操作の強力なパラダイムとなっているが、しばしば反応する。
以前、世界モデルで政策を支持しようとする試みは、将来的なフレームをピクセル空間で再構築する、--------------------または、世界モデルと政策を分離し、制御を弱める。
AWM-VLAは、拡散変圧器のポリシーに直接、協調世界モデリングを組み込む統一的なフレームワークである。
Future Latent Representation Alignment (FLARE) の原則に従うと、中間活性化が将来の観察の視覚言語埋め込みと一致している学習可能な未来のトークンを追加し、アクションを生成しながら長期的な結果を予測することができる。
私たちはこのパラダイムを2つの方法で拡張します。
まず、オブジェクト中心の分離されたアライメントの目的を導入し、将来のオブジェクトレベルのセマンティクスをグローバルな将来の埋め込みと共に予測し、解釈可能性とマルチインストラクションの一般化を改善する。
第二に、グローバルおよびオブジェクト中心のアライメント項は、原則的な重み付けによってアクションフローマッチング損失とバランスを取り、制御可能な精度-解釈可能性トレードオフをもたらす。
RoboCasaとヒューマノイドテーブルトップ操作ベンチマークでは、AWM-VLAは、VLAおよびワールドモデルベースラインを最大21%の成功率で上回り、新しいオブジェクトや命令への一般化を改善し、83のケースで人間のレーダに好まれるオブジェクト中心の合理性を生成する。
提案手法は, 学習可能なトークンを数個加えるだけで, 拡散やフローマッチングのポリシと互換性があり, 整合性のある世界モデリングを, 汎用的操作の安価で広く適用可能なコンポーネントとする。
関連論文リスト
- Discrete-WAM: Unified Discrete Vision-Action Token Editing for World-Policy Learning [28.162567330430928]
我々は、視覚的観察、将来の状態、ハイレベルな決定、共有トークン空間内のエゴアクションを表す統合されたビジョンアクション世界政治フレームワークであるDiscrete-WAMを紹介する。
この離散的なアライメントに基づいて、離散WAMは、マルチタスクとマルチステージ事前トレーニングを通じて、ワールド・モデリング、ワールド・ポリティクス・モデリング、ポリシー・モデリングを共同で訓練する。
実験により、離散WAMは、制御可能な将来の生成、対実評価、サプライズベースのワールドモデル分析、効率的な並列ポリシー復号をサポートしながら、強い計画性能を達成することが示された。
論文 参考訳(メタデータ) (2026-06-04T03:16:31Z) - FRAPPE: Infusing World Modeling into Generalist Policies via Multiple Future Representation Alignment [45.21358158991569]
VLAモデルは、世界モデリングとして知られる環境力学を予測することができる。
現在のアプローチでは,1) セマンティックラーニングと一般化を制約する画素レベルの再構成を過度に強調する訓練対象モデル,2) 推論中に予測される将来の観測への信頼が,しばしばエラーの蓄積につながる,という2つの問題に直面している。
これらの課題に対処するために、並列プログレッシブ拡張(FRAPPE)を介して、Future Representation Alignmentを導入する。
論文 参考訳(メタデータ) (2026-02-19T11:00:46Z) - World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy [55.03832008486675]
World-VLA-Loopは、世界モデルとVision-Language-Action (VLA) ポリシーの共同改良のためのクローズドループフレームワークである。
本研究では,将来観測と報奨信号の同時予測により,高忠実度インタラクティブシミュレータとして機能する状態認識型ビデオワールドモデルを提案する。
論文 参考訳(メタデータ) (2026-02-06T08:57:55Z) - DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [41.030494146004806]
本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。
DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。
実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
論文 参考訳(メタデータ) (2025-07-06T16:14:29Z) - LaDi-WM: A Latent Diffusion-based World Model for Predictive Manipulation [45.02469804709771]
拡散モデルを用いて将来の状態の潜伏空間を予測する世界モデルLaDi-WMを提案する。
LIBERO-LONGベンチマークでは,LaDi-WMが27.9%,現実シナリオでは20%,政策性能が著しく向上することを示した。
論文 参考訳(メタデータ) (2025-05-13T04:42:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。