論文の概要: UMI-WM: Interactive World Modeling for Bimanual Manipulation from Wrist Cameras

• arxiv url: http://arxiv.org/abs/2610.23913v1
• Date: Wed, 30 Sep 2026 18:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:33:36.402919
• Title: UMI-WM: Interactive World Modeling for Bimanual Manipulation from Wrist Cameras
• Title（参考訳）: UMI-WM:ワイストカメラを用いた双方向マニピュレーションのための対話型世界モデリング
• Abstract要約: UMIは、手首カメラのビデオとカメラの軌跡とグリップの開口部をペアリングして、スケーラブルでロボットのないデータを提供し、双方向のアクションが共有シーンをどう変えるかを学ぶ。 UMI-WMは動作条件付きバイマチュアル世界モデルで、観測履歴から手首ビュー、アームごとの相対カメラポーズ、グリップ幅の両方を共同生成する。 UMI-WMは、VBenchとWorldArenaの5つの基準ビデオ忠実度測定値で最高の結果を得る。
• 参考スコア（独自算出の注目度）: 52.38115781222444
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Universal Manipulation Interface (UMI) pairs wrist-camera videos with camera trajectories and gripper openings, providing scalable, robot-free data for learning how bimanual actions change a shared scene. Existing interactive world models, however, typically rely on text or single-camera control and struggle to follow each arm's actions while maintaining consistency between the two wrist views. We introduce UMI-WM, an action-conditioned bimanual world model that jointly generates both wrist views from observation history, per-arm relative camera poses, and gripper widths, with cross-view consistency, action following, and visual fidelity. UMI-WM injects each arm's actions into its own wrist stream, while sparse hub tokens exchange scene information between the two streams. Camera-aware geometry conditioning and camera-guided noise further support per-view motion control and cross-view geometric exchange. We adapt the model for block-causal generation and distill the 30-step Teacher into a Student with four denoising steps. We train UMI-WM on self-collected open-world and in-studio UMI recordings combined with public manipulation data. To evaluate action following, we use an inverse dynamics model (IDM) to recover relative camera poses and gripper widths from generated videos, and introduce Bimanual Action Fidelity (BAF) to measure how closely these recovered actions match the conditioning actions. UMI-WM achieves the best results on all five reference-video fidelity metrics and the best or competitive performance on VBench and WorldArena. The Teacher and Student outperform all compared baselines in action following, while the four-step Student generates paired wrist videos 6.9 times faster than the Teacher.
• Abstract（参考訳）: Universal Manipulation Interface (UMI)は、手首カメラのビデオとカメラの軌跡とグリップの開口部を組み合わせ、スケーラブルでロボットのないデータを提供し、双方向のアクションが共有シーンをどう変えるかを学ぶ。 しかし、既存のインタラクティブな世界モデルは、通常テキストやシングルカメラの制御に依存しており、2つの手首ビュー間の一貫性を維持しながら、各腕の動きに従うのに苦労している。 UMI-WMは、観察履歴から手首ビュー、アームごとの相対カメラポーズ、グリップ幅の両方を共同で生成する動作条件付きバイマチュアル世界モデルである。 UMI-WMは各アームのアクションを自身の手首ストリームに注入し、スパースハブトークンは2つのストリーム間でシーン情報を交換する。 カメラ対応幾何条件付けとカメラ誘導ノイズは、ビューごとのモーションコントロールとクロスビュー幾何交換をさらにサポートする。 ブロック因果生成モデルに適応し、30ステップの教師を4ステップの生徒に蒸留する。 我々は,UMI-WMを自作オープンワールドとインスタディオUMI記録と公開操作データの組み合わせで訓練する。 その後のアクションを評価するために、逆ダイナミクスモデル(IDM)を用いて、生成されたビデオから相対的なカメラポーズとグリップ幅を復元し、バイマナルアクションフィデリティ(BAF)を導入して、これらの回復アクションが条件付きアクションにどの程度近いかを計測する。 UMI-WMは、VBenchとWorldArenaの5つの基準ビデオ忠実度測定値で最高の結果を得る。 教師と学生は以下の行動のベースラインを上回り、4ステップの学生は教師の6.9倍の速さでペアリングした手首ビデオを生成する。

関連論文リスト

• CtrlWAM: Controllable World Action Models with Aligned Intent and Foresight [68.8215501687831]
  世界行動モデル(WAM)は、行動(意図)と視覚的未来(展望)を共同で予測する 本稿では,シミュレータで摂動動作を実行するCtrlWAMについて述べる。 運転実験では、より正確なアクション予測、生成されたビデオとアクションの緊密な一致、提供されたコマンドのより良い追従が示される。
  論文  参考訳（メタデータ） (2026-10-01T00:23:01Z)
• MVG-WAM: Multiple View Geometry-Aware World-Action Modeling for Robotic Manipulation [21.13535293799409]
  MVG-WAM(Multi-View Geometry-Aware World-Action Model)を紹介する。 我々のモデルでは、極性に制約された大局的な状態と、同期された観測から同時推論されたビューインデクシングされた状態を組み合わせる。 MVG-WAMは、LIBEROで99.1%、RoboTwin 2.0で92.07%という平均的な成功率を達成した。
  論文  参考訳（メタデータ） (2026-09-29T15:20:59Z)
• TriWorldBench: A Tri-View Consistency Perspective on Embodied World Models [68.07981098895088]
  身体的世界モデルは、学習と計画を支援するロボット行動の結果を予測する。 トリウォルドベンチ(TRIWORLDBENCH)は、シンクロナイズドヘッド、左書き、右書きビデオを通じて、エンボディドワールドモデルを評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-09-22T12:23:14Z)
• MINT: A Unified Model for World-Space Camera and Hand Motion Estimation from Scalable Egocentric Pipeline Supervision [12.312144883974566]
  我々は、エゴ中心のRGBビデオから世界空間のハンドモーション再構成のための基礎モデルであるMINTを紹介する。 Mintは、カメラの軌跡、視野ビュー、カメラフレームのハンドステート、フレーム単位のハンドオブザーバビリティを共同で予測する。 これは明示的な座標アノテーションによって世界空間の手の動きを生成する。
  論文  参考訳（メタデータ） (2026-09-04T10:05:11Z)
• UniMoCa: Unifying Motion and Camera Controls as Visual Proxies for Faithful Human Video Generation [50.391925716274926]
  textbfUniMoCaは、視覚空間におけるモーションとカメラコントロールを統合する表現駆動フレームワークである。 UniMoCaは、人間の動き制御、カメラ制御、時間的一貫性、カメラ認識の堅牢性において、最小限の複雑さで大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-08-03T09:18:13Z)
• $τ_0$-WM: A Unified Video-Action World Model for Robotic Manipulation [45.040666672458634]
  政策学習,映像予測,行動評価を統合した統合ビデオアクション世界モデルを提案する。 このモデルは、実際のロボット遠隔操作で約27,300ドル(約2万2000円)で訓練されている。
  論文  参考訳（メタデータ） (2026-05-31T05:35:36Z)
• EA-WM: Event-Aware Generative World Model with Structured Kinematic-to-Visual Action Fields [15.319293934673915]
  本稿では,運動制御と視覚知覚のループを閉じるイベントウェア生成世界モデルEA-WMを提案する。 イベント認識型双方向核融合ブロックを導入し、クロスブランチの注意を変調し、オブジェクトの状態変化と正確な相互作用のダイナミクスを捉える。 EA-WMは最先端のパフォーマンスを達成し、既存のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-05-07T13:06:19Z)
• ActionParty: Multi-Subject Action Binding in Generative Video Games [117.52562594944679]
  ActionPartyは、ゲーム生成のための制御可能な多目的世界モデルである。 46の多様な環境において最大7人のプレイヤーを同時に制御できる最初のビデオワールドモデルを実証する。
  論文  参考訳（メタデータ） (2026-04-02T17:59:58Z)
• Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation [73.73984727616198]
  映像生成におけるカメラと人間の動きを正確に制御するための統合フレームワークUni3Cを提案する。 まず,フリーズビデオ生成バックボーンであるPCDControllerで学習したプラグイン・アンド・プレイ制御モジュールを提案する。 第2に,景観点雲とSMPL-X文字をシームレスに統合する推論フェーズの3次元ワールドガイダンスを提案する。
  論文  参考訳（メタデータ） (2025-04-21T07:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。