論文の概要: What 30,000 Hours of Ego-centric Video Does Not Teach

• arxiv url: http://arxiv.org/abs/2610.12464v1
• Date: Thu, 08 Oct 2026 17:59:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.271669
• Title: What 30,000 Hours of Ego-centric Video Does Not Teach
• Title（参考訳）: エゴ中心のビデオは3万時間ももたない
• Abstract要約: 世界モデルは物理ベースのシミュレータに代わる有望な代替手段を提供するが、実際の展開には程遠い。 我々は、1000のシーンタイプと14,000人のコントリビュータにまたがる3万時間のデータセットを使用して、エゴ中心の人間ビデオのスケーリングにどれくらいの時間がかかるかを尋ねる。
• 参考スコア（独自算出の注目度）: 66.23289131869451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World models offer a promising alternative to physics-based simulators, yet remain far from practical deployment. We ask how far scaling ego-centric human video takes them, using a dataset of 30,000 hours spanning over 1,000 scene types and 14,000 contributors. Rather than relying on opaque downstream metrics, we directly evaluate agent and object-interaction fidelity on a challenging out-of-distribution benchmark. Increasing training data by 100x improves both, but unevenly: the agent is modeled well, while object fidelity remains far lower and improves slowly. We show that the agent gains need not come from data, and a careful visual conditioning design saturates fidelity with a fraction of it, which lets us measure object fidelity on its own and discover its saturation point. We then introduce a supervision scheme that shifts capacity from scene appearance toward object dynamics, improving object fidelity though a substantial gap remains. Finally, our conclusions transfer to downstream humanoid modeling. Overall, our results suggest that scaling ego-centric data brings agent modeling close to its limit while leaving its effects on the world far behind, and that closing this gap will depend on how models are trained, not only on how much data they see.
• Abstract（参考訳）: 世界モデルは物理ベースのシミュレータに代わる有望な代替手段を提供するが、実際の展開には程遠い。 我々は、1000のシーンタイプと14,000人のコントリビュータにまたがる3万時間のデータセットを使用して、エゴ中心の人間ビデオのスケーリングにどれくらいの時間がかかるかを尋ねる。 不透明な下流のメトリクスに頼るのではなく、エージェントとオブジェクトの相互作用の忠実度を、挑戦的なアウト・オブ・ディストリビューション・ベンチマークで直接評価する。 トレーニングデータの100倍向上はどちらも改善するが、不均一に、エージェントはうまくモデル化され、オブジェクトの忠実度ははるかに低く、ゆっくりと改善される。 エージェントの利得はデータから得られるものではないことを示し、注意深い視覚条件付け設計は、その一部で忠実度を飽和させ、物体の忠実度を単独で測定し、飽和点を発見できるようにする。 次に、シーンの外観からオブジェクトのダイナミックスへキャパシティをシフトさせ、実質的なギャップを保ったままオブジェクトの忠実度を向上する監視スキームを導入する。 最後に、結論は下流ヒューマノイドモデルに伝達される。 全体として、エゴ中心のデータのスケーリングは、エージェントモデリングの限界に近づき、その影響は世界から遠く離れていることを示唆しています。

関連論文リスト

• Video2World: Benchmarking Coding Agents for Interactive World Modeling from Embodied Videos [44.02553324785577]
  実世界の観測からインタラクティブなシミュレータを構築することは、エンボディドデータをスケールするための有望な方法である。 エージェントがエンボディ映像を観察し、対応する環境とロボットの動作を構築し、実行フィードバックによって結果を反復的に洗練するソフトウェアエンジニアリングタスクとして、エフェノミクスビデオ・シミュレーションを定式化する。 Video2Worldは、幾何学的忠実度、動的忠実度、機能的正しさ、空間的知覚、物理的推論、実行可能相互作用に沿った世界を再構成する。
  論文  参考訳（メタデータ） (2026-10-03T10:46:52Z)
• PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives [86.3073067035531]
  ビデオワールドモデルは、現在の観察とユーザーアクションに基づいて、将来の状態をシミュレートする。 近年のシステムでは、長いシーケンス上での映像の一貫性とアクション制御性が顕著に示されている。 しかし、これらのインタラクティブモデルを比較することは依然として困難だ。 我々はマルチモーダル・エージェント・プレイヤーを用いて、特定の長距離目標に向けて世界モデルと対話する。
  論文  参考訳（メタデータ） (2026-08-13T17:59:30Z)
• EgoExo-WM: Unlocking Exo Video for Ego World Models [59.337519140691775]
  エゴセントリックな世界モデルはエージェントの予測と計画を可能にする有望な方向性を示す。 外心ビデオは豊富で、身体のポーズは良好だが、エージェントのアクション空間と直接的に一致していない。 本稿では,このギャップを埋めるために,アクションの表現として,外心ビデオから構造体ポーズを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2026-05-14T23:35:54Z)
• Contour Integration Underlies Human-Like Vision [2.6716072974490794]
  人間は、物体の輪郭がほとんどなくても、高精度に行動する。 人間は統合バイアスを示します -- 方向のないフラグメントよりも、方向のないフラグメントで構成されたオブジェクトを認識することを好むのです。
  論文  参考訳（メタデータ） (2025-04-07T16:45:06Z)
• EgoAgent: A Joint Predictive Agent Model in Egocentric Worlds [119.02266432167085]
  EgoAgentは単一変換器内での表現、予測、動作を同時に学習する統合エージェントモデルである。 EgoAgentは、タスクをインターリーブされた状態とアクションのシーケンスとして定式化することで、これらの能力間の因果的および時間的依存関係を明示的にモデル化する。 EgoAgentの画像分類,エゴセントリックな将来の状態予測,3次元人間の動作予測といった代表的課題に対する総合的な評価は,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2025-02-09T11:28:57Z)
• Learning Human Action Recognition Representations Without Real Humans [66.61527869763819]
  そこで本研究では,仮想人間を含む合成データを用いて,実世界の映像を活用してモデルを事前学習するベンチマークを提案する。 次に、このデータに基づいて学習した表現を、下流行動認識ベンチマークの様々なセットに転送可能であるかを評価する。 私たちのアプローチは、以前のベースラインを最大5%上回ります。
  論文  参考訳（メタデータ） (2023-11-10T18:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。