論文の概要: MoCaP: Mobile Code-as-Policies for Zero-Shot Mobile Manipulation from Passive Human Videos
- arxiv url: http://arxiv.org/abs/2610.20998v1
- Date: Wed, 14 Oct 2026 22:33:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.098849
- Title: MoCaP: Mobile Code-as-Policies for Zero-Shot Mobile Manipulation from Passive Human Videos
- Title（参考訳）: MoCaP: パッシブビデオからのゼロショットモバイル操作のためのモバイルコード・アズ・ポリシー
- Abstract要約: MoCaP(Mobile Code-as-policy)は、受動的ビデオ録画をエンドツーエンドのモバイル操作ポリシーのガイダンスに変換するエージェントフレームワークである。
実際の移動マニピュレータでは,室内環境における2つの移動操作タスクに対して,MoCaPは80%の成功を達成している。
- 参考スコア（独自算出の注目度）: 6.331884247085456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Passive human videos of everyday activity offer robots access to a massive amount of human experience without requiring a demonstration for each task. However, using this experience requires recovering knowledge from unstructured video recordings and adapting it to a different body (i.e., the robot). To overcome these challenges, we present mobile code-as-policy (MoCaP), an agentic framework that turns passive human video recordings into guidance for an end-to-end mobile manipulation policy. MoCaP extracts spatial memory and cues of how people prepare to interact with objects, which inform navigation and the search for a manipulation-ready configuration. Guided by passive human experience and current observations, MoCaP uses a closed-loop code-as-policy to coordinate planning and tool use primitives to solve motions under the robot's geometry and kinematic constraints. On a real mobile manipulator, MoCaP achieves 80% success on each of two mobile manipulation tasks in an indoor environment whereas existing approaches cannot succeed at the task. Video-derived spatial memory improves object-navigation success from 70% to 100%, and human approach prior raises the rate of finding a reachable base pose from 0% to 100% at an unfavorable start location. Videos and code are available on the project website: https://mocap-7.github.io/MoCAP-page/.
- Abstract（参考訳）: 日々の作業のパッシブなヒューマンビデオは、ロボットに大量の人間体験を、各タスクのデモを必要とせずに提供します。
しかし、この経験を用いることで、構造化されていないビデオ記録から知識を回復し、別の身体(つまりロボット)に適応させる必要がある。
これらの課題を克服するために、我々は、受動的ビデオ録画をエンドツーエンドのモバイル操作ポリシーのガイダンスに変換するエージェントフレームワークであるMoCaP(Mobile Code-as-policy)を提案する。
MoCaPは、人がオブジェクトと対話する準備をする際の空間記憶と手がかりを抽出し、ナビゲーションと操作可能な設定の検索を通知する。
受動的人間の経験と現在の観察によってガイドされたMoCaPは、クローズドループのコード・アズ・ポリシーを使用して計画を調整する。
実際の移動マニピュレータでは,MoCaPは屋内環境における2つの移動操作タスクに対して80%の成功を達成しているが,既存の手法ではそのタスクでは成功できない。
ビデオ由来の空間記憶は、オブジェクトナビゲーションの成功を70%から100%に改善し、人間のアプローチは、到達可能なベースポーズを好ましくないスタート地点で0%から100%に増加させる。
ビデオとコードはプロジェクトのWebサイト(https://mocap-7.github.io/MoCAP-page/)で公開されている。
関連論文リスト
- Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。
我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。
Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
論文 参考訳（メタデータ） (2026-10-08T05:49:24Z) - DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations [39.780100610094884]
DexRoamは、人間のデモンストレーションからモバイルバイマン的なデキスタラスな操作を学習するためのシステムである。
コンシューマーVRヘッドセットとヘッドマウントステレオカメラのみで、外部カメラやモーショントラッカーを使わずに、トラッカーレスキャプチャシステムを開発した。
次に,ロボットの動作空間に撮影動作をマッピングする,3つの明示的なアライメントステージを実行する。
論文 参考訳（メタデータ） (2026-09-28T17:59:10Z) - HoMMI: Learning Whole-Body Mobile Manipulation from Human Demonstrations [15.551927664158695]
Whole-Body Mobile Manipulation Interface (HoMMI)は、ロボットのない人間のデモから直接、全身のモバイル操作を学習する。
我々は、モバイル操作に必要なグローバルコンテキストをキャプチャするために、エゴセントリックな感覚でUMIインタフェースを拡張する。
私たちはこのギャップを、クロス・エボディメント・ハンド・アイ・ポリシー設計で明示的に埋めます。
論文 参考訳（メタデータ） (2026-03-03T18:36:49Z) - Motion Tracks: A Unified Representation for Human-Robot Transfer in Few-Shot Imitation Learning [46.0173222755542]
本稿では,画像上の2次元短距離軌跡として行動を表現することを提案する。
これらの動作、つまりモーショントラックは、人間の手やロボットのエンドエフェクターの動作の予測方向を捉えます。
画像観察を受信し,動作トラックを動作として出力する,MT-pi(Motion Track Policy)と呼ばれるILポリシをインスタンス化する。
論文 参考訳（メタデータ） (2025-01-13T01:01:44Z) - OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation [35.97702591413093]
一つのRGB-Dビデオから操作計画を生成する方法であるOKAMIを紹介する。
OKAMIは、オープンワールドビジョンモデルを使用して、タスク関連オブジェクトを特定し、身体の動きと手ポーズを別々に再ターゲットする。
論文 参考訳（メタデータ） (2024-10-15T17:17:54Z) - Vision-based Manipulation from Single Human Video with Open-World Object Graphs [39.998039757284666]
この研究は、人間のビデオから視覚に基づく操作スキルを学ぶためのオブジェクト中心のアプローチを示す。
ORIONは1つのRGBまたはRGB-Dビデオからオブジェクト中心の操作計画を抽出することでこの問題に対処するアルゴリズムである。
オープンワールドにおける1つの人間のビデオから学習する際のORIONの有効性を実証し、平均成功率74.4%を観察した。
論文 参考訳（メタデータ） (2024-05-30T17:56:54Z) - Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z) - Towards Generalizable Zero-Shot Manipulation via Translating Human
Interaction Plans [58.27029676638521]
我々は、人間の受動的ビデオが、そのようなジェネラリストロボットを学習するための豊富なデータ源であることを示す。
我々は、シーンの現在の画像とゴール画像から将来の手やオブジェクトの設定を予測する人間の計画予測器を学習する。
学習システムは、40個のオブジェクトに一般化する16以上の操作スキルを実現できることを示す。
論文 参考訳（メタデータ） (2023-12-01T18:54:12Z) - Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。
我々の枠組みは、人間の手の動きを予測することに基づいている。
トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
論文 参考訳（メタデータ） (2023-02-03T21:39:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。