論文の概要: HumanNet: Scaling Human-centric Video Learning to One Million Hours
- arxiv url: http://arxiv.org/abs/2605.06747v1
- Date: Thu, 07 May 2026 15:21:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.508888
- Title: HumanNet: Scaling Human-centric Video Learning to One Million Hours
- Title（参考訳）: 人間中心のビデオ学習を100万時間に拡大するHumanNet
- Authors: Yufan Deng, Daquan Zhou,
- Abstract要約: 我々は、人間中心のビデオコーパスであるHumanNetを紹介します。
HumanNetは、一対一の視点と三対一の視点の両方にまたがり、きめ細かい活動、人間とオブジェクトの相互作用、ツールの使用、長期の振る舞いをカバーしている。
生のビデオ以外に、データセットは、キャプション、モーション記述、手と体に関する信号など、インタラクション中心のアノテーションを提供する。
- 参考スコア（独自算出の注目度）: 18.004001748422407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Progress in embodied intelligence increasingly depends on scalable data infrastructure. While vision and language have scaled with internet corpora, learning physical interaction remains constrained by the lack of large, diverse, and richly annotated human activity data. We present HumanNet, a one-million-hour human-centric video corpus that captures how humans interact with the physical world at scale. HumanNet spans both first-person and third-person perspectives and covers fine-grained activities, human-object interactions, tool use, and long-horizon behaviors across diverse real-world environments. Beyond raw video, the dataset provides interaction-centric annotations, including captions, motion descriptions, and hand and body-related signals, enabling motion-aware and interaction-aware learning. Beyond scale, HumanNet introduces a systematic data curation paradigm for embodied learning, where human-centric filtering, temporal structuring, viewpoint diversity, and annotation enrichment are treated as first-class design principles. This design transforms unstructured internet video into a scalable substrate for representation learning, activity understanding, motion generation, and human-to-robot transfer. We conduct a first-step validation on the value of this design through controlled vision-language-action ablation: under a fixed set of validation data, continued training from the Qwen VLM model with 1000 hours of egocentric video drawn from HumanNet surpasses the continued training with 100 hours of real-robot data from Magic Cobot, indicating that egocentric human video could be a scalable and cost-effective substitute for robot data. By building this project, we aim to explore the opportunity to scale embodied foundation models using human-centric videos, rather than relying solely on robot-specific data.
- Abstract（参考訳）: インテリジェンスの進歩は、ますますスケーラブルなデータインフラストラクチャに依存している。
視覚と言語はインターネットコーパスでスケールしてきたが、学習の物理的相互作用は、大きく、多様で、リッチな注釈付けされた人間の活動データがないことで制約を受け続けている。
我々は、人間中心のビデオコーパスであるHumanNetを紹介します。
HumanNetは、ファーストパーソンとサードパーソンの両方の視点にまたがり、きめ細かい活動、人間とオブジェクトの相互作用、ツールの使用、そして様々な現実世界環境における長い水平な振る舞いをカバーしている。
生のビデオ以外に、データセットは、キャプション、モーション記述、手と体に関連する信号など、インタラクション中心のアノテーションを提供し、モーション認識とインタラクション認識の学習を可能にする。
規模を超えて、HumanNetは、人間中心のフィルタリング、時間的構造化、視点の多様性、アノテーションの豊かさを第一級の設計原則として扱う、具体的学習のための体系的なデータキュレーションパラダイムを導入している。
この設計は、構造化されていないインターネット動画を、表現学習、アクティビティ理解、モーション生成、人間とロボットの移動のためのスケーラブルな基板に変換する。
固定された検証データの下で,HumanNetから引き出された1000時間のエゴセントリックビデオによるQwen VLMモデルからの継続トレーニングは,Magic Cobotからの100時間の実ロボットデータによる継続トレーニングを超越し,エゴセントリックビデオはロボットデータのスケーラブルで費用対効果の高い代替品になり得ることを示す。
このプロジェクトの構築により、ロボット固有のデータのみに頼るのではなく、人間中心のビデオを用いて、エンボディドファンデーションモデルをスケールする機会を模索する。
関連論文リスト
- EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World [63.2070298441355]
EgoVerseは、人間のデータ駆動型ロボット学習のためのコラボレーションプラットフォームである。
1,965のタスク、240のシーン、2,087のユニークなデモを行う人間のデモの1,362時間 (80kのエピソード) をリリースします。
複数の実験室、タスク、ロボットのエボディメントにまたがって再現された実験により、人間からロボットへの移動を大規模に研究する。
論文 参考訳（メタデータ） (2026-04-08T21:27:06Z) - $Ψ_0$: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation [39.811210435945924]
本稿では,ヒューマノイドのロコ操作課題に対処するオープン基盤モデルを提案する。
我々の研究は、重要だが見落とされがちなデータレシピを特定します。
高品質な人間操作データに対する事前トレーニングと、ドメイン固有の実世界のヒューマノイド軌道のポストトレーニングにより、優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2026-03-12T17:59:51Z) - EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。
スケーラブルな人的データ収集のためのポータブルシステムを開発した。
論文 参考訳（メタデータ） (2026-02-10T18:59:03Z) - HumanX: Toward Agile and Generalizable Humanoid Interaction Skills from Human Videos [74.43500240121476]
我々はHumanXについて紹介する。HumanXは人間の動画を、ヒューマノイドのための汎用的で現実的なインタラクションスキルにコンパイルするフルスタックのフレームワークである。
HumanXは、従来の方法より8倍高い一般化成功を達成する。
論文 参考訳（メタデータ） (2026-02-02T18:53:01Z) - Emergence of Human to Robot Transfer in Vision-Language-Action Models [88.76648919814771]
VLA(Vision-Language-action)モデルは、幅広いオープンワールドの一般化を可能にするが、大規模で多様なデータセットを必要とする。
VLAが十分なシーン、タスク、実施状況で事前訓練された後に、人間とロボットの移動が出現することを示す。
論文 参考訳（メタデータ） (2025-12-27T00:13:11Z) - Scalable Vision-Language-Action Model Pretraining for Robotic Manipulation with Real-Life Human Activity Videos [42.86535655563404]
我々は、任意の手動ビデオのための完全自動化された総合的人間活動分析手法を開発した。
大量のエゴセントリックなビデオを処理し、100Mエピソードと26Mフレームを含む手動VLAトレーニングデータセットを作成します。
我々は手動VLAモデルアーキテクチャを設計し、このデータセット上でモデルを事前訓練する。
論文 参考訳（メタデータ） (2025-10-24T15:39:31Z) - Humanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation [16.701354625940308]
Humanoid Everydayは大規模かつ多様なヒューマノイド操作データセットである。
RGB、deep、LiDAR、触覚入力を含む高品質なマルチモーダル感覚データを自然言語アノテーションとともに集約する。
我々は、データセット上で代表的政策学習手法の分析を行い、その強みと限界について洞察を提供する。
論文 参考訳（メタデータ） (2025-10-09T20:43:27Z) - Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos [66.62109400603394]
本稿では,大規模な人体ビデオで訓練された視覚・言語・行動モデルであるBeing-H0を紹介する。
提案手法は,人間のビデオからの大規模VLA事前学習,3次元推論のための物理空間アライメント,ロボット作業のためのポストトレーニング適応を組み合わせた,新しいトレーニングパラダイムである物理インストラクションチューニングに重点を置いている。
本研究では,手の動き生成と指示の結果としてのBeat-H0の卓越性を実証的に示すとともに,モデルやデータサイズにもよく対応している。
論文 参考訳（メタデータ） (2025-07-21T13:19:09Z) - EgoMimic: Scaling Imitation Learning via Egocentric Video [22.902881956495765]
EgoMimicは、人間の体表データを介して操作をスケールするフルスタックフレームワークである。
EgoMimic は,1) エルゴノミクス・プロジェクト・Aria メガネを用いたヒトの体型データをキャプチャするシステム,2) 人体データとの運動的ギャップを最小限に抑える低コストなバイマティックマニピュレータ,(4) 人体データとロボットデータとのコトレーニングを行う模倣学習アーキテクチャ,の2つによって実現している。
論文 参考訳（メタデータ） (2024-10-31T17:59:55Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。