論文の概要: Spatial-UMI-Dream: Scaling World Action Models with Metric Geometry for UMI Manipulation

• arxiv url: http://arxiv.org/abs/2611.07229v1
• Date: Wed, 04 Nov 2026 23:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.468809
• Title: Spatial-UMI-Dream: Scaling World Action Models with Metric Geometry for UMI Manipulation
• Title（参考訳）: 空間UMI-Dream:UMI操作のための計量幾何学を用いた世界行動モデルのスケーリング
• Abstract要約: ユニバーサルマニピュレーションインタフェース(UMI)は、特定のロボットとは独立してスケーラブルなデモコレクションを可能にする。 我々は,605時間RGB-D UMIデータを事前トレーニングした5B空間世界行動モデル(WAM)であるSpatial-UMI-Dreamを紹介する。 我々は,UMI手首搭載魚眼観測によるRoboTwinをベースとした20タスクシミュレーションベンチマークであるRoboTwin-UMIを紹介する。
• 参考スコア（独自算出の注目度）: 11.112355129242843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Universal Manipulation Interface (UMI) enables scalable demonstration collection independently of a specific robot. However, its moving, close-range gripper cameras entangle camera and object motion without a stable external view, leaving the metric geometry needed for precise manipulation implicit in RGB. We introduce Spatial-UMI-Dream, a 5B spatial World Action Model (WAM) pretrained on 605 hours of RGB-D UMI data through two-stage training -- world-only adaptation followed by joint world-action learning -- to jointly predict future RGB, fisheye-aligned metric depth, and actions. Stereo-derived depth makes scene scale and spatial relationships explicit within a unified dual-gripper RGB-D representation. Furthermore, evaluating UMI policies requires testing whether UMI's robot-independent demonstration collection translates into policy generalization across robot embodiments, alongside robustness to environmental changes. We introduce RoboTwin-UMI, a twenty-task simulation benchmark built on RoboTwin with UMI wrist-mounted fisheye observations, enabling controlled, repeatable evaluation of UMI policies under environment and embodiment changes separately and jointly without additional fine-tuning. On RoboTwin-UMI, Spatial-UMI-Dream achieves 79.10% in-domain success and 72.15% under combined embodiment and environment shifts, exceeding the strongest evaluated baseline in each setting by 4.65 and 10.30 percentage points, respectively. It also exhibits the smallest success-rate drop under embodiment transfer among the evaluated policies. In a matched pretraining ablation, RGB-only pretraining leads to a 5.75-percentage-point decrease in in-domain success compared with RGB-D pretraining. Across six real-world tasks, Spatial-UMI-Dream achieves 85.0% average success, exceeding the strongest baseline by 24.2 percentage points. Project page: https://weiduoyuan.com/spatial-umi-dream/
• Abstract（参考訳）: Universal Manipulation Interface (UMI)は、特定のロボットとは独立してスケーラブルなデモコレクションを可能にする。 しかし、移動可能な近距離グリップカメラは外界を安定させることなくカメラと物体の動きを絡め、RGBで正確な操作を行うのに必要なメートル法を残した。 今後のRGB, 魚眼対応距離深度, 行動を予測するために, 2段階の訓練を経て, 605時間分のRGB-D UMIデータを事前訓練した5B空間的世界行動モデル(Spatial-UMI-Dream, WAM)を紹介する。 ステレオから派生した深度は、統一されたデュアルグリッパーRGB-D表現においてシーンスケールと空間関係を明示する。 さらに、UMIポリシーの評価には、UMIのロボット非依存のデモコレクションが、環境変化に対する堅牢性とともに、ロボットの実施者間でのポリシーの一般化に変換されるかどうかをテストする必要がある。 我々は,RoboTwin上に構築された20タスクのシミュレーションベンチマークであるRoboTwin-UMIを紹介した。 RoboTwin-UMIでは、Spatial-UMI-Dreamのドメイン内成功率は79.10%、環境シフトと組み合わせた72.15%で、それぞれ4.65ポイントと10.30ポイントで評価されたベースラインを上回っている。 また、評価された政策の中では、実施率の低下が最小であることも示している。 一致した事前訓練アブレーションでは、RGB-Dプレトレーニングと比較して、RGB-Dプレトレーニングは5.75ポイントのドメイン内成功率の低下につながる。 現実の6つのタスクの中で、Spatial-UMI-Dreamは平均85.0%の成功を達成し、最強のベースラインを24.2%上回っている。 プロジェクトページ:https://weiduoyuan.com/spatial-umi-dream/

関連論文リスト

• Physical Canvas: A Vision Tactile World Model For Robot Policy Evaluation And Learning [17.656047835860864]
  PhysCanvas(フィスキャンバス)は、接触に富むロボット操作のための状態整合型触覚世界モデルである。 マルチビューRGB、触覚画像、マーカー変位、タスク状態、アクションを統一された視覚空間内で統合する。 我々の一貫性に留意したポストトレーニングでは、凍結したシーンリワードモデル、モダリティリワードモデル、ステートリワードモデルを使用して、シーンの保存、視覚的触覚の整合性、実際のタスク結果との整合性を監督しています。
  論文  参考訳（メタデータ） (2026-10-20T17:54:03Z)
• Token-World: World Modeling in Vision-Language Model Token Space for Robot Manipulation [66.07387385688453]
  Token-Worldは、VLM機能をコンパクトなトークン状態に圧縮するアクション条件の世界モデルである。 この縮小された空間で将来の力学を学習し、予測された状態が元の方針に向いた表現に戻る。
  論文  参考訳（メタデータ） (2026-09-30T18:45:32Z)
• UMR: Universal Manipulation Representation [23.179028811333556]
  汎用的なエンボディド操作は、エンボディメントとスケールを容易に一般化する統一されたアクション表現に基づく。 人間のデモからロボットへのゼロショットスキルの伝達を可能にする統一されたアクション表現であるUniversal Manipulation Representation (UMR)を導入する。 UMRは、操作を2つの異なる幾何学的に連結されたコンポーネント、エンボディメントに依存しないワールドフローとエゴ軌道に分解する。
  論文  参考訳（メタデータ） (2026-09-28T04:01:44Z)
• DreamWAM: Beyond RGB Future Prediction for World Action Models [41.050457488028314]
  本稿では,RGBを超える構造化世界モデリングとして,将来の予測を再構築するDreamWAMを紹介する。 DreamWAM は LIBERO の RGB のみのベースラインを一貫して改善している。 同じロバスト性は現実世界での操作にまで拡張され、DreamWAMの平均成功率は74.4%に達した。
  論文  参考訳（メタデータ） (2026-08-05T16:04:23Z)
• HiFi-UMI: Learning Deployable Manipulation Policies from High-Fidelity UMI Data Alone [19.886495773199023]
  移動式UMIデータ生成システムであるHiFi-UMIについて述べる。 実ロボットに直接デプロイするHiFi-UMIの実証にのみ焦点を絞った、ゼロロボットのポストトレーニングを実証する。 我々はHiFi-UMI-2Kをオープンソースとして公開し、2000時間のマイクロ同期、超広汎FoVデモをロボット学習コミュニティの大規模かつ高忠実なリソースとして公開しました。
  論文  参考訳（メタデータ） (2026-07-28T15:52:02Z)
• UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data [52.951102709270714]
  UMI-Bench 1.0は,Universal Manipulation Interface(UMI)スタイルの操作ポリシーの標準化評価のための実ロボットベンチマークである。 UMI-Benchは、統一されたプロトコル内でのデータ収集、シーンリセット、ポリシーの実行、結果のロギング、タスク要素分析を調整します。 UMI-Benchは、完全な評価プロセスを再現可能かつ監査可能にすることで、UMI訓練されたポリシーが実際の物理的操作にどのように一般化するかを測定するための実践的なテストベッドを提供する。
  論文  参考訳（メタデータ） (2026-06-09T03:47:54Z)
• Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
  既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。 本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。 我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
  論文  参考訳（メタデータ） (2026-02-23T11:00:08Z)
• Opening the Sim-to-Real Door for Humanoid Pixel-to-Action Policy Transfer [59.02729900344616]
  GPUを加速したフォトリアリスティックなシミュレーションは、ロボット学習のためのスケーラブルなデータ生成パスを開いた。 視覚に基づくヒューマノイドロコ操作のための教師-学生-ブートストラップ学習フレームワークを開発した。 これは、純粋なRGB知覚を用いた多様な調音ロコ操作が可能な初めてのヒューマノイド・シム・トゥ・リアル政策である。
  論文  参考訳（メタデータ） (2025-11-30T20:07:13Z)
• InternVLA-M1: A Spatially Guided Vision-Language-Action Framework for Generalist Robot Policy [138.89177083578213]
  空間接地とロボット制御のための統合フレームワークであるInternVLA-M1を紹介する。 InternVLA-M1は、(i)2.3M以上の空間的推論データに基づく空間的グラウンドトレーニングと(ii)空間的に誘導された後トレーニングという、2段階のパイプラインを使用する。 結果: InternVLA-M1 は SimplerEnv Google Robot で+14.6%、WidowX で+17%、LIBERO Franka で+4.3% で、空間誘導なしでその変種を上回った。
  論文  参考訳（メタデータ） (2025-10-15T17:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。