論文の概要: HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining

• arxiv url: http://arxiv.org/abs/2606.20521v1
• Date: Thu, 18 Jun 2026 17:37:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:40.028546
• Title: HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining
• Title（参考訳）: HumanScale:人間中心の人間ビデオは、身体的プレトレーニングのためのリアルロボットデータより優れている
• Authors: Juncheng Ma, Jianxin Bi, Yufan Deng, Xuanran Zhai, Kewei Zhang, Ye Huang, Bo Liang, Shukai Gong, Jiankai Tu, Xiaotian Tang, Jiaxin Li, Kaiqi Chen, Duomin Wang, Yuqi Wang, Bingyi Kang, Eric Huang, Zhiyang Dou, Zhen Dong, Enze Xie, Wojciech Matusik, Tat-Seng Chua, Daquan Zhou,
• Abstract要約: Embodied foundation modelは、大きな言語モデルのようなデータスケーリングの恩恵を受けることが期待されているが、より厳密なデータボトルネックに直面している。 遠隔操作された実ロボット軌道は、正確な行動監督と実施の整合性のために、訓練前の主流の源である。 エゴセントリックなデータに基づいて事前訓練された基礎モデルは、実ロボットアクション予測において24%低い検証損失を達成する。
• 参考スコア（独自算出の注目度）: 93.5192770515694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied foundation models are expected to benefit from data scaling like large language models, but face a much tighter data bottleneck. Teleoperated real-robot trajectories remain the dominant pretraining source due to their precise action supervision and embodiment alignment, yet their scalability is limited by high collection cost, acquisition difficulty, and low behavioral and environmental diversity. These limitations have sparked interest in egocentric human video as a scalable, substantially lower-cost, and more diverse alternative for embodied model pretraining. However, its effectiveness compared to teleoperated real-robot data remains underexplored. To address this question, we conduct a systematic study comparing egocentric human video and teleoperated real-robot trajectories as pretraining data sources for embodied foundation models, under fixed post-training and validation protocols. Surprisingly, we find that egocentric data, when processed through a carefully designed filtering and labeling pipeline, is not merely a viable substitute for model pretraining but can lead to superior performance. With the same amount of pretraining data, models pretrained on egocentric data achieve a 24% lower validation loss on real-robot action prediction, as well as 52.5% and 90% higher success rates on in-distribution and out-of-distribution real-robot task execution, respectively. This finding verifies a scalable paradigm for embodied foundation models: pretrain on egocentric human video to learn diverse world representations, then adapt with a small amount of labeled real-robot data for action-space alignment. We hope this study encourages broader exploration of egocentric data and offers guidance for data quality assessment before costly robot data collection.
• Abstract（参考訳）: Embodied foundation modelは、大きな言語モデルのようなデータスケーリングの恩恵を受けることが期待されているが、より厳密なデータボトルネックに直面している。 テレオペレーテッド・リアル・ロボット・トラジェクトリは、正確な行動監督と実施の整合性のため、主要な事前訓練源であり続けているが、そのスケーラビリティは、高い収集コスト、取得困難、行動および環境の多様性の低さによって制限されている。 これらの制限により、エゴセントリックな人間のビデオは、拡張性があり、かなり低コストで、より多様なモデル事前トレーニングの代替手段として興味を惹き付けている。 しかし、遠隔操作された実ロボットデータと比較すると、その有効性は未解明のままである。 そこで本研究では,自己中心型ビデオと遠隔操作型実ロボット軌道を,固定されたポストトレーニングおよび検証プロトコルの下で,具体的基礎モデルのための事前学習データソースとして比較する系統的研究を行った。 驚いたことに、精巧に設計されたフィルタリングとラベル付けパイプラインを通して処理されるエゴセントリックデータは、単にモデルの事前トレーニングの代替として実行可能なだけでなく、優れたパフォーマンスをもたらす可能性がある。 同じ量の事前トレーニングデータで、エゴセントリックなデータで事前訓練されたモデルは、実ロボットのアクション予測において24%低い検証損失を達成し、また、実ロボットのタスク実行において52.5%と90%高い成功率を達成する。 この発見は、多種多様な世界表現を学習するために、エゴセントリックな人間の動画を事前訓練し、少量のラベル付き実ロボットデータで行動空間アライメントする、という、基礎モデルのためのスケーラブルなパラダイムを検証する。 本研究は,高コストなロボットデータ収集に先立って,エゴセントリックなデータ探索を促進し,データ品質評価のためのガイダンスを提供することを願っている。

関連論文リスト

• $Ψ_0$: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation [39.811210435945924]
  本稿では,ヒューマノイドのロコ操作課題に対処するオープン基盤モデルを提案する。 我々の研究は、重要だが見落とされがちなデータレシピを特定します。 高品質な人間操作データに対する事前トレーニングと、ドメイン固有の実世界のヒューマノイド軌道のポストトレーニングにより、優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2026-03-12T17:59:51Z)
• EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data [114.89243396877453]
  EgoScaleは、大規模な自我中心の人間データ上に構築された人から器用な操作伝達フレームワークである。 簡単な2段階のトランスファーレシピを導入し, 大規模人体事前訓練と, ライトウェイトアライメントされた人間ロボットのトレーニングを行った。 最終方針は、22個のDoFデキスタラスロボットハンドを使用して、トレーニング済みのベースラインに対して平均成功率を54%向上させる。
  論文  参考訳（メタデータ） (2026-02-18T18:59:05Z)
• Developing Vision-Language-Action Model from Egocentric Videos [14.1517430035289]
  エゴセントリックなビデオは、人間がオブジェクトやツールを操作する方法を捉え、オブジェクトの操作を学ぶための多様な動きの手がかりを提供する。 このようなビデオを利用してロボットのポリシーを訓練する以前の研究は、手動の詳細な記録のような補助的なアノテーションに依存していた。 本研究では,エゴセントリックビデオから6DoFオブジェクト操作トラジェクトリを抽出するフレームワークであるEgoScalerを活用することで,この問題に対処する。
  論文  参考訳（メタデータ） (2025-09-26T07:09:33Z)
• VidMan: Exploiting Implicit Dynamics from Video Diffusion Model for Effective Robot Manipulation [79.00294932026266]
  VidManは、安定性を高め、データ利用効率を向上させるために、2段階のトレーニングメカニズムを使用する新しいフレームワークである。 我々のフレームワークは、CALVINベンチマークで最先端のベースラインモデルGR-1を上回り、11.7%の相対的な改善を実現し、OXEの小規模データセットで9%以上の精度向上を示す。
  論文  参考訳（メタデータ） (2024-11-14T03:13:26Z)
• Mitigating the Human-Robot Domain Discrepancy in Visual Pre-training for Robotic Manipulation [16.809190349155525]
  そこで本研究では,容易に利用可能な人間ロボットのビデオデータを利用して,ドメインギャップを埋める新しい適応パラダイムを提案する。 提案手法では,人間とロボットのビデオのセマンティクスを整列させるために,人間ロボットのアライメント損失を用いて,事前学習したモデルをパラメータ効率よくロボット領域に適応させる。
  論文  参考訳（メタデータ） (2024-06-20T11:57:46Z)
• Learning Human Action Recognition Representations Without Real Humans [66.61527869763819]
  そこで本研究では,仮想人間を含む合成データを用いて,実世界の映像を活用してモデルを事前学習するベンチマークを提案する。 次に、このデータに基づいて学習した表現を、下流行動認識ベンチマークの様々なセットに転送可能であるかを評価する。 私たちのアプローチは、以前のベースラインを最大5%上回ります。
  論文  参考訳（メタデータ） (2023-11-10T18:38:14Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。