論文の概要: HALOMI: Learning Humanoid Loco-Manipulation with Active Perception from Human Demonstrations
- arxiv url: http://arxiv.org/abs/2606.18772v1
- Date: Wed, 17 Jun 2026 07:33:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:51.045818
- Title: HALOMI: Learning Humanoid Loco-Manipulation with Active Perception from Human Demonstrations
- Title（参考訳）: HALOMI:人間のデモからアクティブ・パーセプションによるヒューマノイド・ロコ・マニピュレーションの学習
- Abstract要約: 本報告では,ヒトのデモから能動的知覚でヒューマノイド・ロコ操作を学習するフレームワークであるHALOMIについて述べる。
本研究では,世界フレームにおける高精度かつ堅牢なヘッドハンドトラッキングを実現するために,学習された潜在行動多様体を計画する多様体拘束型コントローラを提案する。
我々は、ナビゲーション、把握、バイマニュアル操作、全身調整、動的動作を含む5つの現実的なタスクにまたがって、アクティベートされた首を持つユニツリーG1ヒューマノイドロボット上でHALOMIを検証する。
- 参考スコア（独自算出の注目度）: 10.378782873235453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human demonstrations, which can be collected at scale and naturally capture active hand-eye coordination, are a promising data source for learning humanoid loco-manipulation. However, directly transferring human demonstrations to humanoids requires a precise world-frame tracking controller, which is often brittle under Out-of-Distribution(OOD) targets, while human-to-humanoid gaps persist in both egocentric observation and action execution. To address these challenges, we present HALOMI, a scalable framework for learning humanoid loco-manipulation with active perception from human demonstrations. HALOMI extends Universal Manipulation Interface (UMI) with egocentric sensing to collect ego-view and wrist-view observations along with head-hand trajectories at scale. We further propose a manifold-constrained controller that plans in a learned latent behavior manifold to enable precise and robust head-hand tracking in the world frame. To bridge the human-to-humanoid gap, we perform ego-view alignment and introduce a controller-aware reference trajectory adaptation to reduce mismatch in both observation and action execution. We validate HALOMI on a Unitree G1 humanoid robot with an actuated neck across five real-world tasks involving navigation, grasping, bimanual manipulation, whole-body coordination, and dynamic behaviors. Across the three quantitatively evaluated tasks, HALOMI achieves an average success rate of 85\%, while additional qualitative demonstrations show its ability to support dynamic tossing and deep-squat grasping.
- Abstract（参考訳）: 人間のデモは、大規模に収集され、活動的な手目調整を自然に捉えることができ、ヒューマノイドのロボ操作を学ぶための有望なデータソースである。
しかしながら、人間のデモを直接ヒューマノイドに転送するには正確な世界フレーム追跡コントローラが必要であり、それはしばしばout-of-Distribution(OOD)ターゲットの下で脆く、一方で人間と人間のギャップは自我中心の観察と行動実行の両方で持続する。
これらの課題に対処するために,人間の実演から能動的に知覚されたヒューマノイド・ロコ・マニピュレーションを学習するためのスケーラブルなフレームワークHALOMIを提案する。
HALOMIはユニバーサル・マニピュレーション・インタフェース(UMI)を拡張し、エゴ中心のセンシングにより、エゴビューと手首ビューの観察と、大規模な手指の軌跡を収集する。
さらに,学習された潜在行動多様体を計画し,世界フレームにおける高精度かつ堅牢なヘッドハンドトラッキングを実現するための,多様体制約付き制御器を提案する。
ヒトとヒトのギャップを埋めるために、エゴビューアライメントを行い、観察と行動の実行の両方におけるミスマッチを低減するために、コントローラ対応の基準軌道適応を導入する。
我々は、ナビゲーション、把握、バイマニュアル操作、全身調整、動的動作を含む5つの現実的なタスクにまたがって、アクティベートされた首を持つユニツリーG1ヒューマノイドロボット上でHALOMIを検証する。
定量的に評価された3つのタスクの中で,HALOMIは平均成功率85\%を達成した。
関連論文リスト
- DreamMimic: Learning Visuomotor Whole-Body Loco-Manipulation via World Model [5.082137967180834]
視覚に基づくヒューマノイドロボットの全身操作は、部分的観察性、接触豊かなダイナミクス、高次元視覚入力から長距離動作を学ぶことの難しさにより困難である。
本稿では,教師の特権的政策を世界モデルによる蒸留を通じて視覚ベースのヒューマノイドコントローラに蒸留する枠組みを提案する。
論文 参考訳（メタデータ） (2026-08-23T08:08:39Z) - Human-as-Humanoid: Enabling Zero-Shot Humanoid Learning from Ego-Exo Human Videos with Human-Aligned Embodiments [32.61025334275917]
ヒト・アス・ヒューマノイド(Humanoid as-Humanoid)は、ヒトからヒトへのハイDoFヒューマノイドの監視フレームワークである。
大規模な人間のデモンストレーションを、対象のヒューマノイドに対する実行可能な観察-アクション監視に変換する。
Humanoidは、データ収集分析において、ヒューマノイド遠隔操作よりも4.8--7.2倍の生のデモンストレーション言語ゲインが得られる。
論文 参考訳（メタデータ） (2026-06-30T17:44:16Z) - HumanoidUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation [6.733928872257592]
我々はHumanoidUMIを提案する。HumanoidはHumanoid全体データ収集のためのポータブルかつロボットフリーなフレームワークである。
軽量なVRデバイスとUMIにインスパイアされたグリッパーを使用して、スパースな人間のキーポイント軌跡、手首視観察、グリッパーアクションを収集します。
5つの実世界のシナリオで実験を行い、提案したフレームワークの有効性を実証した。
論文 参考訳（メタデータ） (2026-06-25T16:23:56Z) - HumanoidMimicGen: Data Generation for Loco-Manipulation via Whole-Body Planning [52.022681285103126]
我々はHumanoid MimicGenについて述べる。
本手法は,少数の実演から新しい状態へ,接触に富んだ全身スキルを適応させる。
我々は、HumanoidMimicGenが生成したデータと協調してトレーニングされた全身ビズモータポリシーが、実世界のデータでのみトレーニングされたものよりも20%優れていたことを示す。
論文 参考訳（メタデータ） (2026-05-26T21:57:11Z) - HEX: Humanoid-Aligned Experts for Cross-Embodiment Whole-Body Manipulation [74.34984994596813]
HEXは、ヒューマノイドロボットの協調操作のための状態中心のフレームワークである。
ヘテロジニアスな実施形態をまたいだスケーラブルな学習のための、ヒューマノイドに整合した普遍的状態表現が組み込まれている。
タスクの成功率と一般化における最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-04-09T09:01:43Z) - ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video [52.78703020909145]
我々は、人間中心のビデオから直接、自然なヒューマノイドビジュモータ制御ポリシーを学ぶ新しいフレームワークであるZeroWBCを紹介した。
提案手法はまず視覚言語モデル(VLM)を微調整し,テキスト命令とエゴセントリックな視覚コンテキストに基づく将来の身体全体の動作を予測する。
ユニツリーG1ヒューマノイドロボットの実験では,動作の自然性と汎用性において,本手法がベースラインアプローチより優れていることが示された。
論文 参考訳（メタデータ） (2026-03-10T04:19:43Z) - ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。
我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。
その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
論文 参考訳（メタデータ） (2026-03-03T18:59:29Z) - EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。
スケーラブルな人的データ収集のためのポータブルシステムを開発した。
論文 参考訳（メタデータ） (2026-02-10T18:59:03Z) - METIS: Multi-Source Egocentric Training for Integrated Dexterous Vision-Language-Action Model [36.82365894983052]
大きなボトルネックは、デクスタラススキルのための大規模でアクションアノテートされたデータの不足にある。
我々は,エゴセントリックなデータセット上で事前学習したデクスタラス操作のための視覚言語アクションモデルMETISを提案する。
提案手法は,6つの実世界のタスクにおける平均成功率を達成し,異常な操作能力を示す。
論文 参考訳（メタデータ） (2025-11-21T16:32:36Z) - DemoHLM: From One Demonstration to Generalizable Humanoid Loco-Manipulation [29.519071338337685]
シミュレーションにおける1つのデモから,実ロボット上でのヒューマノイドロコ操作のためのフレームワークであるDemoHLMを提案する。
全身のコントローラーは、全身のモーションコマンドを関節トルクにマッピングし、ヒューマノイドロボットのための全方向移動手段を提供する。
実験では, 合成データ量と政策性能との間に正の相関が認められた。
論文 参考訳（メタデータ） (2025-10-13T10:49:40Z) - ResMimic: From General Motion Tracking to Humanoid Whole-body Loco-Manipulation via Residual Learning [59.64325421657381]
ヒューマノイド全体のロコ操作は、日々のサービスや倉庫のタスクにトランスフォーメーション機能を約束する。
ResMimicは、人間の動作データから正確に表現力のあるヒューマノイド制御のための2段階の残差学習フレームワークである。
結果は、強いベースラインよりもタスク成功、トレーニング効率、堅牢性が大幅に向上したことを示している。
論文 参考訳（メタデータ） (2025-10-06T17:47:02Z) - Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots [13.229028132036321]
Masked Humanoid Controller (MHC)は、立位、歩行、体の一部の動きの模倣をサポートする。
MHCは、立ち上がり、歩行、最適化された基準軌跡、再ターゲットされたビデオクリップ、人間のモーションキャプチャーデータにまたがる行動のライブラリから、部分的にマスクされた動きを模倣する。
実世界のDigi V3ヒューマノイドロボット上でのシミュレート・トゥ・リアルトランスファーを実演する。
論文 参考訳（メタデータ） (2024-07-30T09:10:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。