論文の概要: EgoMo3R: Joint Egocentric Motion and Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2611.01627v1
• Date: Sun, 01 Nov 2026 06:20:11 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:24:48.071712
• Title: EgoMo3R: Joint Egocentric Motion and Scene Reconstruction
• Title（参考訳）: EgoMo3R:複合エゴ中心運動とシーン再構成
• Abstract要約: EgoMo3Rは3次元人間の動きとシーンの幾何学を同時に再構築する共同最適化フレームワークである。 EgoMo3Rは3次元シーン再構成とエゴセントリックな動き推定の両方において,特殊ベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 27.024556635472194
• License:
• Abstract: Understanding holistic 3D human motion and the surrounding environment from egocentric video is fundamental for applications in AR/VR and robotics. Although these tasks are inherently coupled, existing methods treat them separately. In particular, egocentric motion reconstruction methods typically assume access to metric, gravity-aligned camera trajectories from specialized inertial sensors. Recovering such trajectories from monocular egocentric video remains a significant challenge due to rapid head movements and motion blur. We present EgoMo3R, a joint optimization framework that simultaneously reconstructs 3D human motion and scene geometry from casual egocentric video. It leverages the robustness of low-level visuo-geometric primitives, including monocular depth, optical flow, and point tracks, integrated with a diffusion-based human motion prior via first-order optimization. We propose an alternating optimization scheme that establishes a synergistic feedback loop: scene reconstruction provides physical grounding and trajectory conditioning for the motion prior, while the motion prior regularizes the camera trajectory and anchors the scene in a metric, gravity-aligned world frame. We evaluate EgoMo3R on the highly dynamic sequences of the EgoExo4D and Nymeria datasets and show that it outperforms specialized baselines in both 3D scene reconstruction and egocentric motion estimation.
• Abstract（参考訳）: AR/VRやロボティクスの応用において,エゴセントリックビデオから全身的な3D人間の動きと周囲の環境を理解することが不可欠である。 これらのタスクは本質的に結合されているが、既存のメソッドはそれらを別々に扱う。 特に、自我中心の運動再構成法は、通常、特殊な慣性センサーから、計量的、重力に沿ったカメラ軌道へのアクセスを前提としている。 モノクロエゴシックビデオからこのような軌跡を復元することは、頭部の急激な動きと動きのぼかしが原因で重要な課題である。 EgoMo3Rは3次元人間の動きとシーンの幾何学を同時に再構築する共同最適化フレームワークである。 これは、単眼深度、光学フロー、ポイントトラックを含む低レベルのビゾ幾何学的プリミティブのロバスト性を活用し、一階最適化によって拡散に基づく人間の動きと統合される。 シーン再構成は、カメラの軌跡を調整し、そのシーンを計量的・重力的に整列した世界フレームに固定する。 EgoExo4D と Nymeria のデータセットの高ダイナミックな配列上での EgoMo3R の評価を行い、3D シーン再構成とエゴセントリックな動き推定の両方において特殊ベースラインを上回っていることを示す。

関連論文リスト

• Bringing a Personal Point of View: Evaluating Dynamic 3D Gaussian Splatting for Egocentric Scene Reconstruction [17.903916530175533]
  エゴセントリックなビデオは、人間の知覚と相互作用に関するユニークな視点を提供する。 迅速なカメラモーションと複雑なシーンダイナミクスは、この観点から3次元再構成に大きな課題をもたらす。 エゴ中心およびエゴ中心ビデオ上での動的単分子3DGSモデルの評価を,ペア・エゴ・エゴ・エゴ・レコーディングを用いて行った。
  論文  参考訳（メタデータ） (2026-04-26T16:58:19Z)
• EgoReAct: Egocentric Video-Driven 3D Human Reaction Generation [84.37917777533963]
  EgoReActは,エゴセントリックな映像ストリームからリアルタイムに3Dアライメントされた人間の反応運動を生成する最初のフレームワークである。 EgoReAct は,従来の手法に比べて極めて高いリアリズム,空間整合性,生成効率を実現している。
  論文  参考訳（メタデータ） (2025-12-28T06:44:05Z)
• UniEgoMotion: A Unified Model for Egocentric Motion Reconstruction, Forecasting, and Generation [26.03507721111338]
  本稿では、シーン認識動作合成に一対一のイメージを利用する2つの新しいタスクである、エゴセントリックモーション生成とエゴセントリックモーション予測を紹介する。 我々は,エゴセントリックデバイスに適した新しい頭部中心運動表現を備えた統一された条件付き運動拡散モデルUniEgoMotionを提案する。 UniEgoMotionは、自我中心の運動再構成において最先端のパフォーマンスを達成し、単一の自我中心の画像から動きを初めて生成する。
  論文  参考訳（メタデータ） (2025-08-02T00:41:20Z)
• PlayerOne: Egocentric World Simulator [73.88786358213694]
  PlayerOneは、最初のエゴセントリックなリアルワールドシミュレータである。 それは、エゴセントリックなビデオを生成し、エゴセントリックなカメラで捉えたユーザーの実際のシーンの人間の動きと厳密に一致している。
  論文  参考訳（メタデータ） (2025-06-11T17:59:53Z)
• Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
  Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。 提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。 これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
  論文  参考訳（メタデータ） (2024-12-17T12:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。