論文の概要: MV-UMI: A Scalable Multi-View Interface for Cross-Embodiment Learning

• arxiv url: http://arxiv.org/abs/2509.18757v1
• Date: Tue, 23 Sep 2025 07:53:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.757132
• Title: MV-UMI: A Scalable Multi-View Interface for Cross-Embodiment Learning
• Title（参考訳）: MV-UMI:クロスボディラーニングのためのスケーラブルなマルチビューインタフェース
• Authors: Omar Rayyan, John Abanes, Mahmoud Hafez, Anthony Tzes, Fares Abu-Dakka,
• Abstract要約: 本稿では,3人称視点とエゴセントリックカメラを統合したMV-UMI(Multi-View Universal Manipulation Interface)を提案する。 この統合は、人間のデモとロボットのデプロイメントの間のドメインシフトを軽減し、ハンドヘルドデータ収集デバイスのクロスボデーメントの利点を保存する。
• 参考スコア（独自算出の注目度）: 3.079859911926098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in imitation learning have shown great promise for developing robust robot manipulation policies from demonstrations. However, this promise is contingent on the availability of diverse, high-quality datasets, which are not only challenging and costly to collect but are often constrained to a specific robot embodiment. Portable handheld grippers have recently emerged as intuitive and scalable alternatives to traditional robotic teleoperation methods for data collection. However, their reliance solely on first-person view wrist-mounted cameras often creates limitations in capturing sufficient scene contexts. In this paper, we present MV-UMI (Multi-View Universal Manipulation Interface), a framework that integrates a third-person perspective with the egocentric camera to overcome this limitation. This integration mitigates domain shifts between human demonstration and robot deployment, preserving the cross-embodiment advantages of handheld data-collection devices. Our experimental results, including an ablation study, demonstrate that our MV-UMI framework improves performance in sub-tasks requiring broad scene understanding by approximately 47% across 3 tasks, confirming the effectiveness of our approach in expanding the range of feasible manipulation tasks that can be learned using handheld gripper systems, without compromising the cross-embodiment advantages inherent to such systems.
• Abstract（参考訳）: 近年の模倣学習の進歩は、デモから堅牢なロボット操作ポリシーを開発する上で大きな可能性を秘めている。 しかし、この約束は、多種多様な高品質なデータセットが利用可能であることに起因している。 ポータブルハンドヘルドグリップは、データ収集のための従来のロボット遠隔操作法に代わる、直感的でスケーラブルな代替手段として最近登場した。 しかし、一対一で手首を装着したカメラのみに頼っているため、シーンコンテキストを十分に捉えるには限界が生じることが多い。 本稿では,MV-UMI(Multi-View Universal Manipulation Interface)について述べる。 この統合は、人間のデモとロボットのデプロイメントの間のドメインシフトを軽減し、ハンドヘルドデータ収集デバイスのクロスボデーメントの利点を保存する。 我々のMV-UMIフレームワークは,3つのタスクに対して約47%の広いシーン理解を必要とするサブタスクの性能向上を実証し,ハンドヘルドグリップパーシステムを用いて学習可能な操作タスクの範囲を広げるアプローチの有効性を確認した。

関連論文リスト

• Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control [72.00655365269]
  本稿では,協調的軌跡定式化を通じてオブジェクト間ダイナミクスをモデル化する新しいフレームワークであるRoboMasterを紹介する。 オブジェクトを分解する従来の方法とは異なり、我々のコアは、相互作用プロセスを3つのサブステージ(相互作用前、相互作用後、相互作用後)に分解することである。 提案手法は既存の手法よりも優れており,ロボット操作のための軌道制御ビデオ生成における最先端性能を確立している。
  論文  参考訳（メタデータ） (2025-06-02T17:57:06Z)
• Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [73.75271615101754]
  本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。 Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。 Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
  論文  参考訳（メタデータ） (2025-03-25T15:19:56Z)
• Dynamic Non-Prehensile Object Transport via Model-Predictive Reinforcement Learning [24.079032278280447]
  バッチ強化学習(RL)とモデル予測制御(MPC)を組み合わせたアプローチを提案する。 提案手法は,ロボットウェイタータスクを実行するFranka Pandaロボットのシミュレーションおよび実世界実験により検証される。
  論文  参考訳（メタデータ） (2024-11-27T03:33:42Z)
• Learning Generalizable 3D Manipulation With 10 Demonstrations [16.502781729164973]
  10個のデモから操作スキルを学習する新しいフレームワークを提案する。 シミュレーションベンチマークと実世界のロボットシステムの両方に関する広範な実験を通じて、我々のフレームワークを検証する。 この研究は、現実世界のアプリケーションにおいて、効率的で一般化可能な操作スキル学習を前進させる大きな可能性を示している。
  論文  参考訳（メタデータ） (2024-11-15T14:01:02Z)
• Whole-Body Teleoperation for Mobile Manipulation at Zero Added Cost [8.71539730969424]
  MoMa-Teleopは、既存のインターフェースからエンドエフェクタ動作を推測する新しい遠隔操作手法である。 提案手法は,様々なロボットやタスクに対して,タスク完了時間が大幅に短縮されることを実証する。
  論文  参考訳（メタデータ） (2024-09-23T15:09:45Z)
• Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks [0.0]
  本研究では,ロボット操作分野における教師なし視覚-言語-アクションマッピングに着目した。 本研究では,シミュレータにおけるモデルの性能を最大55%向上させるモデル不変学習法を提案する。 我々の研究は、ロボット運動軌跡の教師なし学習に現在のマルチモーダルVAEを使用することの潜在的な利点と限界にも光を当てている。
  論文  参考訳（メタデータ） (2024-04-02T13:25:16Z)
• Self-supervised Human Detection and Segmentation via Multi-view Consensus [116.92405645348185]
  本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。 本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
  論文  参考訳（メタデータ） (2020-12-09T15:47:21Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。