論文の概要: EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience

• arxiv url: http://arxiv.org/abs/2610.26625v1
• Date: Mon, 19 Oct 2026 15:56:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:17:01.777659
• Title: EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience
• Title（参考訳）: EgoXperience:人間の経験から世界中心の表現を学ぶ
• Abstract要約: EgoXperienceは、エゴセントリックビデオから人間の活動を再構築するためのフルスタックパラダイムである。 EgoXは、幾何学的に検証されたオブジェクトトラッキングとSLAMベースの世界アライメントを結合し、カメラ、シーン、手、オブジェクトを一貫した監視を行う。 本モデルは,1つの前方パスを持つ共有世界座標フレームにおけるカメラ,シーン,手,オブジェクトの連成距離再構成を実現する。
• 参考スコア（独自算出の注目度）: 51.280807066138465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing human activity from egocentric video requires more than recovering individual 3D components: the observer's motion, surrounding geometry, and hand-object interactions must fit together in a consistent world. Achieving this coherence requires both joint reconstruction and aligned supervision, yet existing methods and datasets offer limited support for either. We present EgoXperience, a full-stack paradigm that addresses these needs through data collection, automatic annotation, unified modeling, and benchmarking. Central to EgoXperience is an automatic annotation engine, EgoX-Engine, that couples geometrically verified object tracking with SLAM-based world alignment, yielding consistent supervision for the camera, scene, hands, and objects. This yields EgoX-Data-6M, a 50-hour dataset of task-driven manipulation and locomotion within and across indoor and outdoor environments, with second-level task captions. We carefully select one hour across these activity categories as EgoX-Bench to evaluate joint reconstruction. To translate this supervision into reconstruction, we introduce EgoX, trained with EgoX-Data-6M and complementary annotations from additional public datasets. Given monocular egocentric video and first-frame object masks, our model achieves joint metric reconstruction of the camera, scene, hands, and objects in a shared world coordinate frame with a single forward pass. Extensive experiments demonstrate state-of-the-art performance across scene estimation and world-space hand-object pose recovery. Against the strongest evaluated baselines, EgoX reduces camera, hand, and depth errors by 68.9%, 65.6%, and 42.9%, and improves object pose scores by 28.0%.
• Abstract（参考訳）: エゴセントリックなビデオから人間の活動を再構築するには、観察者の動き、周囲の幾何学、手動物体の相互作用といった個々の3D成分を復元する以上のことが必要である。 このコヒーレンスを達成するには、共同再建と調整された監督の両方が必要ですが、既存の方法とデータセットはどちらも限定的なサポートを提供しています。 データ収集、自動アノテーション、統一モデリング、ベンチマークを通じて、これらのニーズに対処するフルスタックパラダイムであるEgoXperienceを紹介します。 EgoXperienceの中心は自動アノテーションエンジンのEgoX-Engineで、幾何学的に検証されたオブジェクトトラッキングとSLAMベースの世界アライメントを結合し、カメラ、シーン、手、オブジェクトを一貫した監視を行う。 この結果、EgoX-Data-6Mは、タスク駆動の操作と移動の50時間のデータセットであり、第2レベルのタスクキャプションを持つ屋内および屋外環境内および周辺に存在する。 EgoX-Benchとしてこれらの活動カテゴリを1時間ごとに慎重に選択し,共同再建を評価する。 この監視を再構築するために、EgoX-Data-6MでトレーニングされたEgoXと、追加のパブリックデータセットからの補完アノテーションを紹介します。 単眼の自己中心型ビデオと第一フレームのオブジェクトマスクが与えられた場合、このモデルは1つの前方パスを持つ共有世界座標フレーム内のカメラ、シーン、手、オブジェクトのジョイントメトリック再構築を実現する。 広汎な実験では、シーン推定と世界空間のハンドオブジェクト・ポーズ・リカバリにまたがる最先端のパフォーマンスが実証されている。 最も評価されたベースラインに対して、EgoXはカメラ、手、深さの誤差を68.9%、65.6%、42.9%削減し、オブジェクトポーズスコアを28.0%改善した。

関連論文リスト

• ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine [83.02804728003862]
  Ambient Capture Engine (ACE)は、実家環境を空間的に、時間的に同期されたレコーディングスタジオに変換する。 ACEは、エゴセントリックでマルチビューのエクソセントリックなビデオ、フルボディと手の動き、オブジェクト幾何学と6-DoF軌道、オーディオ、信号を、統一されたマルチ感覚ストリームとして記録する。 データセットは、原子操作、家庭活動の長い水平鎖、人間とシーンの相互作用にまたがっており、ステップバイステップの指示よりもゴールレベルの自然な振る舞いを保っている。
  論文  参考訳（メタデータ） (2026-07-30T17:59:50Z)
• EgoExo-WM: Unlocking Exo Video for Ego World Models [59.337519140691775]
  エゴセントリックな世界モデルはエージェントの予測と計画を可能にする有望な方向性を示す。 外心ビデオは豊富で、身体のポーズは良好だが、エージェントのアクション空間と直接的に一致していない。 本稿では,このギャップを埋めるために,アクションの表現として,外心ビデオから構造体ポーズを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2026-05-14T23:35:54Z)
• ENIGMA-360: An Ego-Exo Dataset for Human Behavior Understanding in Industrial Scenarios [50.47300468137957]
  ENIGMA-360は、実際の産業シナリオで取得された新しいエゴエクソデータセットである。 データセットは、時間的に同期された180エゴセントリックと180エゴセントリックなプロシージャビデオで構成されている。 これらの結果は、実環境において堅牢なエゴエクソ理解が可能な新しいモデルの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2026-03-10T14:47:15Z)
• Self-Supervised Monocular 4D Scene Reconstruction for Egocentric Videos [25.41337525728398]
  EgoMono4Dは、Egocentric Monocular 4D再構成に必要な複数の変数を統一する新しいモデルである。 全てのベースラインと比較して高密度の点雲列再構成において優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-11-14T02:57:11Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。