論文の概要: DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations

• arxiv url: http://arxiv.org/abs/2609.35761v1
• Date: Mon, 28 Sep 2026 17:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:06:14.279285
• Title: DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations
• Title（参考訳）: DexRoam: Egocentric Whole-Body Human Demonstrationsからモバイルバイマン的デクスタラスマニピュレーションを学ぶ
• Abstract要約: DexRoamは、人間のデモンストレーションからモバイルバイマン的なデキスタラスな操作を学習するためのシステムである。 コンシューマーVRヘッドセットとヘッドマウントステレオカメラのみで、外部カメラやモーショントラッカーを使わずに、トラッカーレスキャプチャシステムを開発した。 次に,ロボットの動作空間に撮影動作をマッピングする,3つの明示的なアライメントステージを実行する。
• 参考スコア（独自算出の注目度）: 39.780100610094884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile bimanual dexterous manipulation requires continuous coordination of locomotion, whole-body motion, and finger-level dexterity within a single trajectory, creating a severe robot demonstration bottleneck. Egocentric human demonstrations offer a scalable alternative, but prior approaches ease the transfer by simplifying human motion, discarding exactly the fine-grained, coupled structure such tasks depend on. We present DexRoam, a complete system for learning mobile bimanual dexterous manipulation from human demonstrations, in which whole-body motion remains continuous and coupled throughout the human-to-robot transfer process. To enable scalable collection of whole-body human manipulation demonstrations, we develop a tracker-free capture system using only a consumer VR headset and a head-mounted stereo camera, without external cameras or motion trackers. We then perform three explicit alignment stages---embodiment, action-semantic, and temporal---to map captured motion into the robot action space, preserving fine-grained whole-body motion and allowing human and robot demonstrations to be jointly learned by standard VLA policies. Real-world experiments with different VLA backbones show that human demonstrations consistently improve policy learning across training paradigms, raising average success from 29% to 56% on GR00T N1.7 and from 32% to 57% on pi0.5, while matching robot-only training with half the robot demonstrations. Ablations confirm that each alignment stage is necessary. These results highlight the potential of human demonstrations for scalable whole-body mobile manipulation with preserved fine-grained motion structure.
• Abstract（参考訳）: 移動的二足歩行操作では,1つの軌道内での移動,全身運動,指の高さの連続的な調整が必要であり,ロボットのデモのボトルネックを生じさせる。 エゴセントリックな人間のデモは、スケーラブルな代替手段を提供するが、以前のアプローチは、人間の動きを単純化し、そのようなタスクが依存するきめ細かな結合構造を完全に捨てることで、転送を容易にする。 DexRoamは人体全体の動きが連続的に継続し、人間とロボットの移動過程を通して結合される、人間の実演から移動的二面的操作を学習するための完全なシステムである。 そこで本研究では,VRヘッドセットとヘッドマウントステレオカメラのみを用いて,外付けカメラやモーショントラッカーを使わずに,人体全体の操作デモをスケーラブルに収集できるトラッカーフリーキャプチャシステムを開発した。 次に,ロボットの動作空間に捉えた動作をエボディメント,アクションセマンティック,時間アライメントという3つの明示的なアライメントを行う。 異なるVLAバックボーンを用いた実世界の実験では、人間のデモンストレーションはトレーニングパラダイム全体のポリシー学習を一貫して改善し、平均的な成功率はGR00T N1.7で29%から56%、pi0.5で32%から57%、ロボットのみのトレーニングと半分のデモで一致している。 アブレーションは各アライメントステージが必要であることを確認します。 これらの結果は、微細な運動構造を保存したスケーラブルな全身移動体操作のための人間の実演の可能性を強調した。

関連論文リスト

• Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer [61.50662046794264]
  Skel-WAMは,ハンドスケルトン・モーション・インタフェースの統一による差異をブリッジする世界アクション・モデルである。 主な洞察は、人間の動きとロボットの動きを共通のハンドトポロジーで調整し、シーン内の地面の動きを、明示的な手の動きをエンコードする2.5Dキーポイントと組み合わせることである。 ビデオとキーポイントの専門家は、Mixture-of-Transformersを通じて視覚と骨格のダイナミクスを共同で学習し、ロボット訓練されたアクションエキスパートはこれらの予測を実行可能なコントロールにマップする。
  論文  参考訳（メタデータ） (2026-09-18T09:06:15Z)
• ViLoMan: Learning Visual-Proprioceptive Whole-Body Loco-Manipulation Skills for Humanoid Robots [56.6238848953359]
  ViLoManは、自律的なヒューマノイドロコ操作のためのスケーラブルなフレームワークである。 自我中心の深度観測と主観的測定を直接ジョイントレベル全体の行動にマッピングする統一的なポリシーを学ぶ。
  論文  参考訳（メタデータ） (2026-09-16T19:10:13Z)
• WholeBodyWAM: Learning Whole-Body World Action Models with Scalable Motion Priors [28.761088065994244]
  WholeBodyWAMは、ターゲットロボット訓練の前に、大規模な異種運動から全身動態を学習する。 言語条件のモーションエキスパートは、ターゲットロボットアクションの監督なしに、将来の全身の動きを予測するために事前訓練される。 実験により、WholeBodyWAMは運動抑制尺度の増大の恩恵を一貫して受けることが示された。
  論文  参考訳（メタデータ） (2026-09-16T06:32:21Z)
• HumanoidUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation [6.733928872257592]
  我々はHumanoidUMIを提案する。HumanoidはHumanoid全体データ収集のためのポータブルかつロボットフリーなフレームワークである。 軽量なVRデバイスとUMIにインスパイアされたグリッパーを使用して、スパースな人間のキーポイント軌跡、手首視観察、グリッパーアクションを収集します。 5つの実世界のシナリオで実験を行い、提案したフレームワークの有効性を実証した。
  論文  参考訳（メタデータ） (2026-06-25T16:23:56Z)
• ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video [52.78703020909145]
  我々は、人間中心のビデオから直接、自然なヒューマノイドビジュモータ制御ポリシーを学ぶ新しいフレームワークであるZeroWBCを紹介した。 提案手法はまず視覚言語モデル(VLM)を微調整し,テキスト命令とエゴセントリックな視覚コンテキストに基づく将来の身体全体の動作を予測する。 ユニツリーG1ヒューマノイドロボットの実験では,動作の自然性と汎用性において,本手法がベースラインアプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2026-03-10T04:19:43Z)
• EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
  EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。 スケーラブルな人的データ収集のためのポータブルシステムを開発した。
  論文  参考訳（メタデータ） (2026-02-10T18:59:03Z)
• TWIST: Teleoperated Whole-Body Imitation System [28.597388162969057]
  全身動作模倣によるヒューマノイド遠隔操作システムTWISTについて述べる。 我々は,強化学習と行動クローニングを組み合わせた,頑健で適応的で応答性の高い全身制御装置を開発した。 TWISTは、現実世界のヒューマノイドロボットが、前例のない、多目的で、調整された全身運動能力を達成できるようにする。
  論文  参考訳（メタデータ） (2025-05-05T17:59:03Z)
• Expressive Whole-Body Control for Humanoid Robots [20.132927075816742]
  我々は、人間の動きをできるだけリアルに模倣するために、人間サイズのロボットで全身制御ポリシーを学習する。 シミュレーションとSim2Real転送のトレーニングにより、私たちのポリシーはヒューマノイドロボットを制御して、さまざまなスタイルで歩いたり、人と握手したり、現実世界で人間と踊ったりできる。
  論文  参考訳（メタデータ） (2024-02-26T18:09:24Z)
• HERD: Continuous Human-to-Robot Evolution for Learning from Human Demonstration [57.045140028275036]
  本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。 本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-08T15:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。