論文の概要: GWM-VLA: Geometry-Aware Latent World Modeling for Vision-Language-Action Learning
- arxiv url: http://arxiv.org/abs/2608.07619v1
- Date: Fri, 07 Aug 2026 06:41:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 14:36:51.46527
- Title: GWM-VLA: Geometry-Aware Latent World Modeling for Vision-Language-Action Learning
- Title（参考訳）: GWM-VLA:視覚言語学習のための幾何学的潜在世界モデリング
- Abstract要約: VLA(Vision-Language-Action)モデルは強力なロボット操作性能を実現するが、視覚や環境の変化によって劣化することが多い。
本稿では,VLA学習のための幾何学的な潜在世界モデリングフレームワークであるGWM-VLAを提案する。
- 参考スコア（独自算出の注目度）: 28.596605555817032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models achieve strong robotic manipulation performance but often degrade under visual and environmental shifts. Latent world modeling offers a promising approach to improving robustness, yet existing methods commonly encode camera views independently and predict holistic scene dynamics without explicitly modeling their geometric relationships. We propose GWM-VLA, a geometry-aware latent world modeling framework for VLA learning. GWM-VLA combines geometry-aware multi-view state encoding, global context-conditioned target-view prediction, and shared latent-action representations grounded by robot-action supervision. Specifically, VGGT-$Ω$ jointly aggregates multi-view observations at each timestep to construct geometry-aware multi-view states. The latent world model predicts the next-step patch tokens of a selected target view using patch and register tokens obtained after multi-view aggregation, thereby retaining multi-view geometric information without predicting the complete multi-view state. We use the wrist view as the target in our experiments, placing greater emphasis on end-effector motion and local gripper-object interactions. Finally, the shared latent-action representations condition both the latent world model and the flow-matching action head, allowing latent-prediction supervision and ground-truth robot-action supervision to jointly shape the same latent-action representations. Experiments across both simulation and real-world environments demonstrate the effectiveness and robustness of GWM-VLA.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは強力なロボット操作性能を実現するが、視覚や環境の変化によって劣化することが多い。
潜在世界モデリングは、ロバスト性を改善するための有望なアプローチを提供するが、既存の手法は、カメラビューを独立に符号化し、幾何学的関係を明示的にモデル化することなく、全体論的なシーンダイナミクスを予測する。
本稿では,VLA学習のための幾何学的な潜在世界モデリングフレームワークであるGWM-VLAを提案する。
GWM-VLAは、幾何学的に認識された多視点状態の符号化、グローバルなコンテキスト条件のターゲットビュー予測、ロボットアクションの監督によって基礎付けられた潜在行動表現を組み合わせた。
具体的には、VGGT-$Ω$は、幾何対応の多視点状態を構築するために、各時刻における多視点観測を共同で集約する。
潜在世界モデルは、選択されたターゲットビューの次のステップのパッチトークンを、マルチビューアグリゲーション後に得られたパッチとレジスタトークンを用いて予測し、完全なマルチビュー状態を予測せずに、多ビュー幾何情報を保持する。
実験では,手首の視界を対象とし,エンドエフェクタ運動と局所グリップ・オブジェクト相互作用に重点を置いている。
最後に、共用ラテント動作表現条件は、ラテント世界モデルとフローマッチング動作ヘッドの両方を条件とし、ラテント予測監督とグランドトルースロボット動作監督が、同じラテント動作表現を共同で形成できるようにする。
GWM-VLAの有効性とロバスト性をシミュレーションと実環境の両方で実証した。
関連論文リスト
- GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations [19.347332945780273]
VLA(Vision-Language-Action)モデルは、知覚と行動の統一による汎用ロボット操作の強力な可能性を示している。
ジェスチャーを並列命令として導入し,GesVLA(Gesture-Aware Vision-Language-Action Model)を提案する。
実験結果から,ジェスチャを組み込むことにより,目標の接地精度と人間とロボットの相互作用効率が一貫した改善が得られた。
論文 参考訳（メタデータ） (2026-05-21T17:57:44Z) - World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning [18.658825757342544]
視覚言語モデル (VLM) は静的視覚理解において高い性能を示した。
彼らは今でも、エゴセントリックな動きの下でのシーンの進化を想像する必要がある、ダイナミックな空間的推論に苦慮している。
生成世界モデルから視覚言語モデルに空間的想像力を蒸留するトレーニングフレームワーク World2VLM を提案する。
論文 参考訳（メタデータ） (2026-04-29T17:48:01Z) - MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation [47.2088748094605]
Vision-Language-Action(VLA)モデルは、視覚的な観察や自然言語の指示からロボットを操作することを目的としている。
MMaDA-VLAは,マルチモーダル理解と生成をひとつのフレームワークで統一する,完全ネイティブな大規模拡散VLAモデルである。
論文 参考訳（メタデータ） (2026-03-26T12:55:51Z) - SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile Manipulation [43.77409401429281]
VLA(Vision-Language-Action)モデルは、ロボット制御の可能性を秘めているが、複雑な家庭環境におけるパフォーマンスは、まだ準最適である。
モバイル操作には、グローバルなシーンレイアウト、きめ細かい形状、高次元連続的な動作の推論が必要である。
知覚と表現を強化する空間的接地型VLAモデルの学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-24T03:44:25Z) - ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。
本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-23T17:59:42Z) - World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy [55.03832008486675]
World-VLA-Loopは、世界モデルとVision-Language-Action (VLA) ポリシーの共同改良のためのクローズドループフレームワークである。
本研究では,将来観測と報奨信号の同時予測により,高忠実度インタラクティブシミュレータとして機能する状態認識型ビデオワールドモデルを提案する。
論文 参考訳（メタデータ） (2026-02-06T08:57:55Z) - Causal World Modeling for Robot Control [56.31803788587547]
ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。
本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。
シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
論文 参考訳（メタデータ） (2026-01-29T17:07:43Z) - PAN: A World Model for General, Interactable, and Long-Horizon World Simulation [49.805071498152536]
PANは、汎用的で対話性があり、長い水平世界モデルである。
歴史と自然言語のアクションを前提とした高品質なビデオシミュレーションにより、将来の世界の状態を予測します。
実験により, PANは行動条件付き世界シミュレーション, 長期予測, シミュレーション推論において高い性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-11-12T07:20:35Z) - Vision Language Action Models in Robotic Manipulation: A Systematic Review [1.1767330101986737]
ビジョン言語アクション(VLA)モデルは、ロボット工学の変革的なシフトを表す。
本稿では,VLAパラダイムの包括的で先進的な合成について述べる。
102のVLAモデル、26の基盤データセット、12のシミュレーションプラットフォームを分析します。
論文 参考訳（メタデータ） (2025-07-14T18:00:34Z) - DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [41.030494146004806]
本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。
DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。
実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
論文 参考訳（メタデータ） (2025-07-06T16:14:29Z) - Unified Vision-Language-Action Model [86.68814779303429]
我々は、視覚、言語、行動信号を離散トークンシーケンスとして自動回帰モデル化する、統一的でネイティブなマルチモーダルVLAモデルUniVLAを提案する。
提案手法は, CALVIN, LIBERO, Simplenv-Bridge など, 広く使用されているシミュレーションベンチマークにまたがって, 最新の結果を設定する。
さらに、現実世界のALOHA操作と自律運転に適用可能であることを実証する。
論文 参考訳（メタデータ） (2025-06-24T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。