論文の概要: HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience

• arxiv url: http://arxiv.org/abs/2610.34186v1
• Date: Sun, 25 Oct 2026 09:46:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.554368
• Title: HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience
• Title（参考訳）: HuGe:エゴセントリックな経験を持つヒューマノイド・ジェネリスティック・ビジョンランゲージ・アクション・モデル
• Abstract要約: 我々はヒューマノイド・ジェネラルVLAのファミリーであるHuGeを紹介した。 我々は,エゴセントリックな事前学習,ヒューマノイド適応,下流の微調整を組み合わせた3段階トレーニングパイプラインを導入する。 このパイプラインでHuGeは、HuoidArenaという、最先端のシミュレーションベンチマークを達成している。
• 参考スコア（独自算出の注目度）: 49.06442198554097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extending Vision-Language-Action models (VLAs) to humanoid robots requires coordinated whole-body control and diverse demonstrations that are costly to collect in real-world scenarios. Although egocentric human demonstrations provide a complementary source of task experience, differences in visual embodiment and missing robot proprioception complicate transfer to humanoid policies. To address these challenges, we introduce HuGe, a family of Humanoid Generalist VLAs pre-trained on over 2,000 hours of egocentric human and robot data. Specifically, HuGe employs three existing representative VLA architectures to predict latent motion tokens for a pretrained whole-body controller, together with hand-control signals. Based on this, we introduce a three-stage training pipeline that combines egocentric pre-training, humanoid adaptation, and downstream fine-tuning. To facilitate transfer across embodiments, we construct pseudo-proprioceptive states through simulation playback during pre-training and modify arm appearance in egocentric observations through re-rendering during downstream fine-tuning. With this pipeline, HuGe achieves the state-of-the-art on simulation benchmark HumanoidArena. Furthermore, real-world experiments on the Unitree G1 indicate that augmenting robot demonstrations with visually adapted egocentric demonstrations significantly increases success on a pick-and-drop task.
• Abstract（参考訳）: VLA(Vision-Language-Action Model)をヒューマノイドロボットに拡張するには、協調した全身制御と、現実世界のシナリオで収集するのにコストがかかる多様なデモが必要である。 エゴセントリックな人間の実演は、タスク体験の相補的な源となっているが、視覚的具体化の違いとロボットのプロプリセプションの欠如は、ヒューマノイドの政策への移行を複雑にしている。 これらの課題に対処するために、2000時間以上の人間とロボットのデータに基づいて事前訓練されたヒューマノイド・ジェネラリストVLAのファミリーであるHuGeを紹介する。 具体的には、HuGeは既存の3つの代表的VLAアーキテクチャを使用して、事前訓練された全身コントローラの潜在モーショントークンと手動制御信号を予測する。 これに基づいて,エゴセントリックな事前学習,ヒューマノイド適応,下流ファインチューニングを組み合わせた3段階トレーニングパイプラインを導入する。 実施形態の移動を容易にするため, 下流微調整時の再レンダリングにより, 自我中心の観察において, 腕の外観を再現し, シミュレーション再生により擬似自己受容状態を構築する。 このパイプラインでHuGeは、HuoidArenaという、最先端のシミュレーションベンチマークを達成している。 さらに、Unitree G1における実世界実験では、視覚的に適応したエゴセントリックなデモによるロボットのデモが、ピック・アンド・ドロップタスクの成功を著しく増加させることが示されている。

関連論文リスト

• EgoAlign: Bridging the Human-Humanoid Gap for Long-Range Loco-Manipulation [30.557334389658166]
  EgoAlignは、エゴセントリックな人間のデモをアクションに変換し、汎用的で連続的なボディコントローラと互換性のある状態の監視を行う。 上半身の相互作用の幾何に適応しながら、視覚的にガイドされた周期的なステップの参照を保存する。 最終因果リプレイは、人間の観察によるトレーニングのための対応するロボット状態とモーション・トーケン・ラベルを再構成する。
  論文  参考訳（メタデータ） (2026-09-29T17:18:42Z)
• Human-as-Humanoid: Enabling Zero-Shot Humanoid Learning from Ego-Exo Human Videos with Human-Aligned Embodiments [32.61025334275917]
  ヒト・アス・ヒューマノイド(Humanoid as-Humanoid)は、ヒトからヒトへのハイDoFヒューマノイドの監視フレームワークである。 大規模な人間のデモンストレーションを、対象のヒューマノイドに対する実行可能な観察-アクション監視に変換する。 Humanoidは、データ収集分析において、ヒューマノイド遠隔操作よりも4.8--7.2倍の生のデモンストレーション言語ゲインが得られる。
  論文  参考訳（メタデータ） (2026-06-30T17:44:16Z)
• EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
  EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。 スケーラブルな人的データ収集のためのポータブルシステムを開発した。
  論文  参考訳（メタデータ） (2026-02-10T18:59:03Z)
• Emergence of Human to Robot Transfer in Vision-Language-Action Models [88.76648919814771]
  VLA(Vision-Language-action)モデルは、幅広いオープンワールドの一般化を可能にするが、大規模で多様なデータセットを必要とする。 VLAが十分なシーン、タスク、実施状況で事前訓練された後に、人間とロボットの移動が出現することを示す。
  論文  参考訳（メタデータ） (2025-12-27T00:13:11Z)
• MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
  人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。 MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
  論文  参考訳（メタデータ） (2025-12-17T12:59:41Z)
• EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos [49.820119587446655]
  本稿では,エゴセントリックな人間ビデオを用いたVLA(Vision-Language-Action)モデルのトレーニングについて検討する。 人間の手首と手の動きを予測する人間のビデオに基づいて訓練されたVLAによって、私たちはInverse Kinematicsを実行し、人間のアクションをロボットアクションに変換することができる。 シミュレーションベンチマークであるEgo Humanoid Manipulation Benchmarkを提案する。
  論文  参考訳（メタデータ） (2025-07-16T17:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。