論文の概要: ACE-Ego-0: Unifying Egocentric Human and Robotic Data for VLA Pretraining

• arxiv url: http://arxiv.org/abs/2606.17200v1
• Date: Mon, 15 Jun 2026 18:40:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.104942
• Title: ACE-Ego-0: Unifying Egocentric Human and Robotic Data for VLA Pretraining
• Title（参考訳）: ACE-Ego-0:VLA事前訓練のための人間とロボットのデータの統合
• Authors: Hao Li, Ganlong Zhao, Yufei Liu, Haotian Hou, Guoquan Ye, Tongyan Fang, Chunxiao Liu, Siyuan Huang, Jianbo Liu, Xiaogang Wang, Hongsheng Li,
• Abstract要約: VLA(Vision-Language-Action)モデルは、大規模で多様な実施データから恩恵を受けるが、ロボットの軌道収集は費用がかかり、労力がかかる。 近年の進歩は、大規模な自我中心の人間ビデオが、事前訓練において補完的な現実世界の監督を提供することを示している。 異種データソースを併用した統合VLA事前学習フレームワークであるACE-EGO-0を紹介する。
• 参考スコア（独自算出の注目度）: 40.678451625177026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models benefit from large-scale and diverse embodied data, yet scaling robot trajectory collection is costly and labor-intensive. Recent advances show that large-scale egocentric human videos provide complementary real-world supervision in pretraining. However, joint training on human and robot data remains challenging due to divergences in action spaces, embodiment structures, temporal dynamics, and supervision quality. We introduce ACE-EGO-0, a unified VLA pretraining framework jointly leveraging heterogeneous data sources. To extract large-scale pretraining supervision from egocentric human videos, we build a scalable egocentric video-to-action pipeline that converts raw human videos into robot-format pseudo-action trajectories. To make these labels comparable with robot demonstrations, ACE-EGO-0 uses a unified action representation based on camera-space actions, morphology conditioning, and time-aligned action chunking. To robustly leverage noisy pseudo-action supervision from egocentric human videos, we formulate a reliability-aware training objective with a human auxiliary loss that concentrates supervision on reliable signals. We instantiate ACE-EGO-0 on 4.53K hours of robot and simulation data, together with 1.48K hours of pseudo-action-labeled egocentric human data. Experiments show that incorporating large-scale human supervision under reliability-aware weighting consistently improves both unified joint pretraining and supervised fine-tuning. ACE-EGO-0 achieves state-of-the-art performance on RoboCasa GR1 TableTop and RoboTwin 2.0, while demonstrating strong transfer to real-world bimanual manipulation.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、大規模で多様な実施データから恩恵を受けるが、ロボットの軌道収集は費用がかかり、労力がかかる。 近年の進歩は、大規模な自我中心の人間ビデオが、事前訓練において補完的な現実世界の監督を提供することを示している。 しかし, 動作空間, 実施形態, 時間的ダイナミクス, 監督品質の相違により, 人・ロボットデータの共同トレーニングは依然として困難である。 異種データソースを併用した統合VLA事前学習フレームワークであるACE-EGO-0を紹介する。 エゴセントリックな人間のビデオから大規模な事前訓練の監督を抽出するために、我々はスケーラブルなエゴセントリックなビデオ・ツー・アクションパイプラインを構築し、生の人間のビデオをロボット形式の擬似行動軌道に変換する。 これらのラベルをロボットのデモに匹敵させるため、ACE-EGO-0はカメラ空間のアクション、形態条件付け、タイムアラインなアクションチャンキングに基づく統一されたアクション表現を使用する。 エゴセントリックな人間のビデオからノイズの多い擬似行動監視をしっかりと活用するために、信頼性に配慮したトレーニング目標と、信頼性の高い信号の監視に集中した人間の補助的損失を定式化する。 ACE-EGO-0を4.53K時間、シミュレーションデータを1.48K時間、擬似行動ラベル付き人間中心のデータとともにインスタンス化する。 信頼性を考慮した重み付けによる大規模人的監督の導入は、統一的な関節前訓練と教師付き微調整の両方を一貫して改善することを示す実験である。 ACE-EGO-0 は RoboCasa GR1 TableTop と RoboTwin 2.0 の最先端性能を実現し、実世界のバイマニュアル操作への強力な移行を示した。

関連論文リスト

• ActiveMimic: Egocentric Video Pretraining with Active Perception [84.2999803878421]
  エゴセントリックな人間のビデオは、事前トレーニングのためのロボットデータに代わるスケーラブルな代替手段を提供する。 単体のRGBカメラから同期カメラと手首軌跡を復元する事前学習フレームワークであるActiveMimicを提案する。 我々は,ActiveMimicが人間のビデオで事前訓練されたベースラインを一貫して上回り,ロボットデータで事前訓練された最先端モデルと一致していることを示す。
  論文  参考訳（メタデータ） (2026-06-04T14:01:01Z)
• Co-training with Ego-centric Video and Demonstration for Robot Navigation Task [0.0]
  本研究では,エゴセントリックな歩行映像を移動ロボット模倣学習のためのデータセットに変換するフレームワークを提案する。 提案手法は,人間の映像からカメラの動きを推定し,地上移動ロボットと互換性のある動作表現に変換する。 フルーツ検索ナビゲーションタスクの実験は、人間の自我中心のビデオがモバイルロボット学習に効果的でスケーラブルなデータソースを提供することを示した。
  論文  参考訳（メタデータ） (2026-06-01T09:12:22Z)
• $Ψ_0$: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation [39.811210435945924]
  本稿では,ヒューマノイドのロコ操作課題に対処するオープン基盤モデルを提案する。 我々の研究は、重要だが見落とされがちなデータレシピを特定します。 高品質な人間操作データに対する事前トレーニングと、ドメイン固有の実世界のヒューマノイド軌道のポストトレーニングにより、優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2026-03-12T17:59:51Z)
• EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data [114.89243396877453]
  EgoScaleは、大規模な自我中心の人間データ上に構築された人から器用な操作伝達フレームワークである。 簡単な2段階のトランスファーレシピを導入し, 大規模人体事前訓練と, ライトウェイトアライメントされた人間ロボットのトレーニングを行った。 最終方針は、22個のDoFデキスタラスロボットハンドを使用して、トレーニング済みのベースラインに対して平均成功率を54%向上させる。
  論文  参考訳（メタデータ） (2026-02-18T18:59:05Z)
• EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
  EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。 スケーラブルな人的データ収集のためのポータブルシステムを開発した。
  論文  参考訳（メタデータ） (2026-02-10T18:59:03Z)
• Scalable Vision-Language-Action Model Pretraining for Robotic Manipulation with Real-Life Human Activity Videos [42.86535655563404]
  我々は、任意の手動ビデオのための完全自動化された総合的人間活動分析手法を開発した。 大量のエゴセントリックなビデオを処理し、100Mエピソードと26Mフレームを含む手動VLAトレーニングデータセットを作成します。 我々は手動VLAモデルアーキテクチャを設計し、このデータセット上でモデルを事前訓練する。
  論文  参考訳（メタデータ） (2025-10-24T15:39:31Z)
• MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
  低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。 視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。 視点安定化のためにEgoStabilizerを提案する。 動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
  論文  参考訳（メタデータ） (2025-09-26T11:05:10Z)
• Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos [66.62109400603394]
  本稿では,大規模な人体ビデオで訓練された視覚・言語・行動モデルであるBeing-H0を紹介する。 提案手法は,人間のビデオからの大規模VLA事前学習,3次元推論のための物理空間アライメント,ロボット作業のためのポストトレーニング適応を組み合わせた,新しいトレーニングパラダイムである物理インストラクションチューニングに重点を置いている。 本研究では,手の動き生成と指示の結果としてのBeat-H0の卓越性を実証的に示すとともに,モデルやデータサイズにもよく対応している。
  論文  参考訳（メタデータ） (2025-07-21T13:19:09Z)
• EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos [49.820119587446655]
  本稿では,エゴセントリックな人間ビデオを用いたVLA(Vision-Language-Action)モデルのトレーニングについて検討する。 人間の手首と手の動きを予測する人間のビデオに基づいて訓練されたVLAによって、私たちはInverse Kinematicsを実行し、人間のアクションをロボットアクションに変換することができる。 シミュレーションベンチマークであるEgo Humanoid Manipulation Benchmarkを提案する。
  論文  参考訳（メタデータ） (2025-07-16T17:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。