論文の概要: DUET-DINO: Simultaneous Cross-View World Modeling for Latent Planning in Robot Manipulation

• arxiv url: http://arxiv.org/abs/2609.10506v1
• Date: Wed, 09 Sep 2026 17:41:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.126133
• Title: DUET-DINO: Simultaneous Cross-View World Modeling for Latent Planning in Robot Manipulation
• Title（参考訳）: DUET-DINO:ロボットマニピュレーションにおける潜在計画のための同時多視点世界モデリング
• Abstract要約: アクション条件付き潜在世界モデルは将来の視覚表現を予測し、ゼロショットの目標条件付きロボットの計画と制御を可能にする。 本稿では,静的側カメラと手首カメラの同時観測により,動作条件付き予測を同時学習するDuet-DINOについて紹介する。 補完的なグローバルシーンとグリップ中心の情報を活用することで、DUET-DINOは完全な7-DoFアクション空間の潜在計画を可能にする。
• 参考スコア（独自算出の注目度）: 19.179682667653328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Action-conditioned latent world models predict future visual representations, enabling zero-shot goal-conditioned robot planning and control. However, their predictions for fine-grained spatial and rotational actions are unreliable for full 7-DoF end-effector control. To address this gap, we introduce DUET-DINO, a simultaneous cross-view latent world model that jointly learns action-conditioned predictions from static side- and wrist-camera observations through cross-view conditioning. By exploiting complementary global scene and gripper-centric information, DUET-DINO enables latent planning over the full 7-DoF action space. Across spatially diverse reach, orientation-intensive angled-reach, and multi-goal grasp-and-lift tasks, DUET-DINO consistently outperforms single-view and independent dual-view baselines, achieving 92% success on reach, 72.5% on angled-reach, and 60.0% on lift tasks. DUET-DINO is trained from scratch on DROID and RoboArena datasets and generalizes robustly under visual distribution shifts. We further show that while V-JEPA 2 wrist-view predictions underestimate visual dynamics induced by fine-grained actions, DINOv3 predictions better capture action-conditioned scene changes, leading to stronger downstream planning. The code and model checkpoints will be open-sourced. Project page: https://utn-air.github.io/DUET-DINO
• Abstract（参考訳）: アクション条件付き潜在世界モデルは将来の視覚表現を予測し、ゼロショットの目標条件付きロボットの計画と制御を可能にする。 しかし, 完全な7-DoFエンドエフェクタ制御では, 微粒な空間および回転動作の予測は信頼性が低い。 このギャップに対処するため,我々は,静的側・手首カメラによる動作条件付き予測をクロスビュー・コンディショニングを通じて共同で学習する,同時視野潜在世界モデルであるDUET-DINOを紹介した。 補完的なグローバルシーンとグリップ中心の情報を活用することで、DUET-DINOは完全な7-DoFアクション空間の潜在計画を可能にする。 空間的に多彩なリーチ、方向集中型アングル・リーチ、多ゴールグリップ・アンド・リフトタスクにおいて、DUET-DINOは単視点と独立二視点ベースラインを一貫して上回り、リーチで92%、アングル・リーチで72.5%、リフトで60.0%を達成している。 DUET-DINOは、DROIDとRoboArenaのデータセットをゼロからトレーニングし、視覚的な分散シフトの下で堅牢に一般化する。 さらに,V-JEPA 2手首ビュー予測は細粒度な動作によって引き起こされる視覚力学を過小評価するが,DINOv3予測はアクション条件のシーン変化を捕えやすくし,下流計画の強化につながることを示した。 コードとモデルチェックポイントはオープンソースになる予定だ。 プロジェクトページ:https://utn-air.github.io/DUET-DINO

関連論文リスト

• TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks [22.702826122425268]
  制御と予測の中間インタフェースとして視覚トラックを用いた世界モデルに基づくロボット意思決定フレームワークTrActを提案する。 TrActは3つのコンポーネントから構成される: ビジョン・ランゲージ・アクション・アンド・トラックモデル(VLAT)は、現在の観察と言語指導から候補行動と対応する視覚トラックを共同で予測し、トラック条件付き世界モデル(TWM)は、提案されたトラックで条件付けられた将来の視覚結果を予測する。
  論文  参考訳（メタデータ） (2026-08-25T06:00:01Z)
• Sensorimotor World Models: Perception for Action via Inverse Dynamics [59.121736411156384]
  Inverse dynamics regularization で訓練されたエンド・ツー・エンドのセンサモレータ・ワールドモデルを導入する。 表現の崩壊を防ぎ、アクション整列表現を誘導する。 コンパクトで解釈可能な潜在空間を学習し、単純な2Dおよび3D制御タスク間の競合計画性能を実現する。
  論文  参考訳（メタデータ） (2026-06-18T11:25:16Z)
• LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies [31.88655699486955]
  ラワント・アクション条件付きラワント・ワールドモデル(LaWM)を提案する。 LaWAMは、将来のビデオの再構成ではなく、コンパクトで潜伏した視覚サブゴールを通じて、ロボットポリシーに対する予測ダイナミクスを公開する。 LaWAMはアクションチャンク予測あたり187msで動作し、画素空間のWAMよりも最大24倍の遅延時間を実現する。
  論文  参考訳（メタデータ） (2026-06-14T12:06:58Z)
• DriveVA: Video Action Models are Zero-Shot Drivers [23.675212404889805]
  現実のシナリオは目に見えない条件下での堅牢なパフォーマンスを必要とするため、一般化は自動運転における中心的な課題である。 近年のワールドモデルに基づく計画手法は、シーン理解とマルチモーダルな将来予測において強力な能力を示している。 本稿では,新しい自律運転世界モデルであるDriveVAを提案する。
  論文  参考訳（メタデータ） (2026-04-05T17:43:16Z)
• LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
  LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。 そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。 R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
  論文  参考訳（メタデータ） (2026-03-31T02:21:59Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• Walk through Paintings: Egocentric World Models from Internet Priors [65.30611174953958]
  本稿では,エゴセントリック・ワールド・モデル(EgoWM)について述べる。 我々は、スクラッチからトレーニングするよりも、インターネット規模のビデオモデルのリッチワールドを再利用し、軽量なコンディショニング層を通じてモーターコマンドを注入する。 当社のアプローチは,3-DoF移動ロボットから25-DoFヒューマノイドまで,エボディメントやアクションスペースを自然に拡張する。
  論文  参考訳（メタデータ） (2026-01-21T18:59:32Z)
• Act2Goal: From World Model To General Goal-conditioned Policy [14.222177107215648]
  Act2Goalは、ゴール条件付きビジュアルワールドモデルとマルチスケールの時間制御を統合した、ゴール条件付き操作ポリシーである。 Act2Goalは、自律的なインタラクションの数分以内に、配布外タスクに挑戦する上で、成功率を30%から90%に改善することを示す。
  論文  参考訳（メタデータ） (2025-12-29T15:28:42Z)
• AstraNav-World: World Model for Foresight Control and Consistency [40.07910402326578]
  ダイナミックな環境での身体的ナビゲーションは、世界がどのように進化し、どのように行動が時間とともに広がるかを正確に予測する必要がある。 AstraNav-Worldは、未来の視覚状態とアクションシーケンスを共同で推論するエンド・ツー・エンドの世界モデルである。 本フレームワークは,拡散型ビデオジェネレータとビジョン言語ポリシーを統合し,同期ロールアウトを実現する。
  論文  参考訳（メタデータ） (2025-12-25T15:31:24Z)
• Reimagination with Test-time Observation Interventions: Distractor-Robust World Model Predictions for Visual Model Predictive Control [51.14656121641822]
  世界モデルは、現在の観測と計画された行動によって、ロボットが将来の観察を「想像」することができる。 新たな視覚的障害は、行動結果の予測を破損させ、ロボットが計画や行動検証のために世界モデルの想像力に依存するとき、下流の障害を引き起こす可能性がある。 本稿では、世界モデルによるより信頼性の高い行動結果の予測を可能にする簡易かつ効果的なテストタイム戦略であるReOI(Reimagination with Observation Intervention)を提案する。
  論文  参考訳（メタデータ） (2025-06-19T19:41:29Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。