論文の概要: MVG-WAM: Multiple View Geometry-Aware World-Action Modeling for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2609.37793v1
- Date: Tue, 29 Sep 2026 15:20:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.677064
- Title: MVG-WAM: Multiple View Geometry-Aware World-Action Modeling for Robotic Manipulation
- Title(参考訳): MVG-WAM:ロボットマニピュレーションのための多視点幾何を考慮したワールド・アクション・モデリング
- Abstract要約: MVG-WAM(Multi-View Geometry-Aware World-Action Model)を紹介する。
我々のモデルでは、極性に制約された大局的な状態と、同期された観測から同時推論されたビューインデクシングされた状態を組み合わせる。
MVG-WAMは、LIBEROで99.1%、RoboTwin 2.0で92.07%という平均的な成功率を達成した。
- 参考スコア(独自算出の注目度): 21.13535293799409
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World-Action Models (WAMs) couple visual dynamics with action prediction, bringing the rich priors of pretrained video models to robotic manipulation. However, their multi-view interfaces typically tile images or concatenate tokens, leaving the geometric relationships among synchronized cameras implicit. This makes it harder to connect global scene context with the local geometry required for interaction. We introduce the Multi-View Geometry-Aware World-Action Model (MVG-WAM), which organizes these observations as related projections of one physical world rather than separate images on a canvas. Our model combines an epipolar-constrained global state with view-indexed geometric states jointly inferred from synchronized observations. Camera-aware routing supplies each video region with its corresponding geometric context and the shared global state, explicitly structuring the representation used for action prediction. We further ground the geometry-aware representation in metric scale through multi-horizon future-depth supervision, without requiring depth decoding during action rollout. MVG-WAM achieves average success rates of 99.1% on LIBERO and 92.07% on RoboTwin 2.0, demonstrating competitive performance across both benchmarks. Real-world experiments on Cobot Magic further demonstrate a 91.3% success rate across 150 trials spanning three manipulation tasks.
- Abstract(参考訳): World-Action Models (WAMs) は、視覚力学とアクション予測を結合し、事前訓練されたビデオモデルの豊富な先行をロボット操作にもたらす。
しかし、それらの多視点インタフェースは一般的にタイル画像やトークンを連結し、同期カメラ間の幾何学的関係を暗黙的に残している。
これにより、グローバルなシーンコンテキストと対話に必要な局所幾何学を結びつけるのが難しくなる。
本研究では,これらの観測を,キャンバス上の画像を分離するのではなく,一つの物理世界の関連投影として整理する多視点幾何対応世界行動モデル(MVG-WAM)を提案する。
本モデルでは, 極性に制約された大域的状態と, 同期観測から推定される視差付き幾何学的状態を組み合わせる。
カメラ対応ルーティングは、各ビデオ領域に対応する幾何学的コンテキストと共有グローバル状態を供給し、アクション予測に使用される表現を明示的に構造化する。
我々はさらに、アクションロールアウト中に深度復号を必要とせず、マルチホライズン・フューチャー・ディープス・インスペクションを通じて、計量スケールでの幾何認識表現をさらに基礎づける。
MVG-WAMは、LIBEROで99.1%、RoboTwin 2.0で92.07%という平均的な成功率を達成した。
Cobot Magicの実際の実験は、3つの操作タスクにまたがる150回の試験で91.3%の成功率を示した。
関連論文リスト
- TriWorldBench: A Tri-View Consistency Perspective on Embodied World Models [68.07981098895088]
身体的世界モデルは、学習と計画を支援するロボット行動の結果を予測する。
トリウォルドベンチ(TRIWORLDBENCH)は、シンクロナイズドヘッド、左書き、右書きビデオを通じて、エンボディドワールドモデルを評価するためのベンチマークである。
論文 参考訳(メタデータ) (2026-09-22T12:23:14Z) - GWM-VLA: Geometry-Aware Latent World Modeling for Vision-Language-Action Learning [28.596605555817032]
VLA(Vision-Language-Action)モデルは強力なロボット操作性能を実現するが、視覚や環境の変化によって劣化することが多い。
本稿では,VLA学習のための幾何学的な潜在世界モデリングフレームワークであるGWM-VLAを提案する。
論文 参考訳(メタデータ) (2026-08-07T06:41:51Z) - Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation [88.94027963091206]
具体的インテリジェンスのための言語条件付きビデオワールドモデルであるQwen-RobotWorldを紹介する。
ロボット操作、自律運転、屋内ナビゲーション、人間とロボットの移動など、現在の観察結果から、物理的に基礎付けられた将来の視覚軌道を予測する。
論文 参考訳(メタデータ) (2026-06-15T17:52:31Z) - MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。
クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
論文 参考訳(メタデータ) (2026-06-01T18:20:20Z) - Cross-View World Models [3.7896239978609434]
本稿では,クロスビュー・ワールド・モデル (XVWM) を紹介する。
我々は、Aimlabsから同期マルチビューゲームプレイデータをトレーニングする。
この結果から,複数視点の整合性は空間的接地表現に強い学習信号を与えることがわかった。
論文 参考訳(メタデータ) (2026-02-07T00:02:15Z) - MobileManiBench: Simplifying Model Verification for Mobile Manipulation [70.30578259859512]
MobileManiBenchは、モバイルベースのロボット操作のための大規模なベンチマークである。
MobileManiBenchには、2つのモバイルプラットフォーム(パラレルグリッパーとデキソラスハンドロボット)、2つの同期カメラ(頭と右手首)、630のオブジェクト(オープン、クローズ、プル、プッシュ、ピック)、5つのスキル(オープン、クローズ、プッシュ、ピック)、100以上のタスクが現実的なシーンで実行される。
論文 参考訳(メタデータ) (2026-02-05T02:49:52Z) - Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos [24.111891848073288]
身体的世界モデルは、視覚的な観察と行動を通じて物理的世界と予測し、相互作用することを目的としている。
MTV-Worldは正確なビジュモータ予測のためのマルチビュートラジェクトリ・ビデオ制御を導入した。
MTV-Worldは、複雑なデュアルアームシナリオにおける正確な制御実行と正確な物理的相互作用モデリングを実現する。
論文 参考訳(メタデータ) (2025-11-17T02:17:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。