論文の概要: Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos

• arxiv url: http://arxiv.org/abs/2511.12882v2
• Date: Wed, 19 Nov 2025 09:11:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 13:41:21.10268
• Title: Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos
• Title（参考訳）: マルチビュートラジェクトリ映像を用いた高一貫性ボブダイド世界モデルの実現に向けて
• Authors: Taiyi Su, Jian Zhu, Yaxuan Li, Chong Ma, Zitai Huang, Hanli Wang, Yi Xu,
• Abstract要約: 身体的世界モデルは、視覚的な観察と行動を通じて物理的世界と予測し、相互作用することを目的としている。 MTV-Worldは正確なビジュモータ予測のためのマルチビュートラジェクトリ・ビデオ制御を導入した。 MTV-Worldは、複雑なデュアルアームシナリオにおける正確な制御実行と正確な物理的相互作用モデリングを実現する。
• 参考スコア（独自算出の注目度）: 24.111891848073288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied world models aim to predict and interact with the physical world through visual observations and actions. However, existing models struggle to accurately translate low-level actions (e.g., joint positions) into precise robotic movements in predicted frames, leading to inconsistencies with real-world physical interactions. To address these limitations, we propose MTV-World, an embodied world model that introduces Multi-view Trajectory-Video control for precise visuomotor prediction. Specifically, instead of directly using low-level actions for control, we employ trajectory videos obtained through camera intrinsic and extrinsic parameters and Cartesian-space transformation as control signals. However, projecting 3D raw actions onto 2D images inevitably causes a loss of spatial information, making a single view insufficient for accurate interaction modeling. To overcome this, we introduce a multi-view framework that compensates for spatial information loss and ensures high-consistency with physical world. MTV-World forecasts future frames based on multi-view trajectory videos as input and conditioning on an initial frame per view. Furthermore, to systematically evaluate both robotic motion precision and object interaction accuracy, we develop an auto-evaluation pipeline leveraging multimodal large models and referring video object segmentation models. To measure spatial consistency, we formulate it as an object location matching problem and adopt the Jaccard Index as the evaluation metric. Extensive experiments demonstrate that MTV-World achieves precise control execution and accurate physical interaction modeling in complex dual-arm scenarios.
• Abstract（参考訳）: 身体的世界モデルは、視覚的な観察と行動を通じて物理的世界と予測し、相互作用することを目的としている。 しかし、既存のモデルは、低レベルの動作(例えば関節の位置)を予測フレーム内の正確なロボットの動きに変換するのに苦労し、現実世界の物理的相互作用と矛盾する結果となった。 これらの制約に対処するために,マルチビュートラジェクトリ・ビデオ制御を導入し,正確なビジュモータ予測を行うMTV-Worldを提案する。 具体的には、制御に低レベルアクションを直接使用する代わりに、カメラ内在パラメータと外在パラメータによって得られる軌跡ビデオと、制御信号としてカルテ空間変換を用いる。 しかし、3Dの生のアクションを2D画像に投影すると、必然的に空間情報が失われ、単一のビューが正確な相互作用モデリングに不十分になる。 これを解決するために,空間情報損失を補う多視点フレームワークを導入し,物理世界との高整合性を確保する。 MTV-Worldは、ビュー毎の初期フレームの入力と条件付けとして、マルチビュートラジェクトリビデオに基づいて、将来のフレームを予測する。 さらに,ロボットの動作精度とオブジェクトの相互作用精度の両方を体系的に評価するために,マルチモーダルな大規模モデルとビデオオブジェクトセグメンテーションモデルを用いた自動評価パイプラインを開発した。 空間的整合性を測定するため、対象位置マッチング問題として定式化し、ジャカード指数を評価指標として採用する。 大規模な実験により、MTV-Worldは複雑なデュアルアームシナリオにおける正確な制御実行と正確な物理的相互作用モデリングを実現する。

関連論文リスト

• Geometry-aware 4D Video Generation for Robot Manipulation [28.709339959536106]
  そこで本研究では,映像の多視点3次元整合性を実現する4次元映像生成モデルを提案する。 この幾何学的監督により、モデルはシーンの共有3次元表現を学習することができ、新しい視点から将来の映像シーケンスを予測することができる。 既存のベースラインと比較して,本手法は複数のシミュレーションおよび実世界のロボットデータセットに対して,より視覚的に安定かつ空間的に整合した予測を生成する。
  論文  参考訳（メタデータ） (2025-07-01T18:01:41Z)
• Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control [72.00655365269]
  本稿では,協調的軌跡定式化を通じてオブジェクト間ダイナミクスをモデル化する新しいフレームワークであるRoboMasterを紹介する。 オブジェクトを分解する従来の方法とは異なり、我々のコアは、相互作用プロセスを3つのサブステージ(相互作用前、相互作用後、相互作用後)に分解することである。 提案手法は既存の手法よりも優れており,ロボット操作のための軌道制御ビデオ生成における最先端性能を確立している。
  論文  参考訳（メタデータ） (2025-06-02T17:57:06Z)
• Physical Informed Driving World Model [47.04423342994622]
  DrivePhysicaは、本質的な物理原理に準拠したリアルなドライビングビデオを生成するために設計された革新的なモデルだ。 我々は,Nuscenesデータセット上での3.96 FIDと38.06 FVDの駆動ビデオ生成品質と下流認識タスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-12-11T14:29:35Z)
• IRASim: A Fine-Grained World Model for Robot Manipulation [24.591694756757278]
  本稿では,ロボットとオブジェクトのインタラクションの詳細を詳細に表現したビデオを生成する新しい世界モデルIRASimを提案する。 拡散変圧器を訓練し、各変圧器ブロック内に新しいフレームレベル動作条件モジュールを導入し、アクションフレームアライメントを明示的にモデル化し強化する。
  論文  参考訳（メタデータ） (2024-06-20T17:50:16Z)
• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)
• COPILOT: Human-Environment Collision Prediction and Localization from Egocentric Videos [62.34712951567793]
  エゴセントリックな観測から人間と環境の衝突を予測する能力は、VR、AR、ウェアラブルアシストロボットなどのアプリケーションにおける衝突回避を可能にするために不可欠である。 本稿では、ボディマウントカメラから撮影した多視点エゴセントリックビデオから、多様な環境における衝突を予測するという課題を紹介する。 衝突予測と局所化を同時に行うために,COPILOTと呼ばれるトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-04T17:49:23Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。