論文の概要: ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video

• arxiv url: http://arxiv.org/abs/2607.17790v1
• Date: Mon, 20 Jul 2026 10:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.590835
• Title: ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video
• Title（参考訳）: ReViV:モノクロエゴシックビデオから4Dのビューアとビューを再構築する
• Abstract要約: ReViVは、総合的なエゴセントリックな4D再構成のためのフレームワークである。 Masked Generative Egocentric Transformerにより、ReViVは単一のフィードフォワードアーキテクチャ内で動作する。
• 参考スコア（独自算出の注目度）: 51.951128822418774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric devices, such as wearable front-facing cameras, provide a unique perspective for capturing the continuous interaction between a human viewer and the surrounding environment. A holistic and efficient multimodal model capable of reconstructing this 4D representation is therefore highly desirable. However, existing approaches often rely on auxiliary inputs such as pre-computed camera trajectories, treat scene perception and human ego-motion modeling as separate problems despite their strong interdependency, and suffer from slow inference time. To address these limitations, we present ReViV, the first unified framework for holistic egocentric 4D reconstruction that extracts both viewer and view dynamics from a single monocular RGB video. We formulate the task as learning the full joint probability distribution over multimodal signals, including RGB video, camera trajectory, gaze direction, full-body motion, hand motion, and depth. Powered by a Masked Generative Egocentric Transformer, ReViV operates within a single feed-forward architecture to simultaneously reconstruct the temporally consistent 4D reconstruction across the viewer and the view with fast inference speed. Extensive experiments on diverse benchmarks, including HoloAssist, HOT3D, ARCTIC, Aria Digital Twin, and TACO, demonstrate that ReViV achieves state-of-the-art accuracy and efficiency across holistic ego-body, hand, and gaze reconstruction, camera tracking, while maintaining highly competitive egocentric depth estimation without relying on heavy task-specific priors. Code and models are fully open-sourced: https://reviv4d.github.io/.
• Abstract（参考訳）: ウェアラブルフロントカメラのようなエゴセントリックなデバイスは、人間のビューアと周囲の環境との継続的な相互作用をキャプチャするためのユニークな視点を提供する。 したがって、この4次元表現を再構築できる総合的で効率的なマルチモーダルモデルは非常に望ましい。 しかし、既存のアプローチは、しばしば事前計算されたカメラ軌跡のような補助的な入力に依存し、シーン知覚や人間のエゴモーションモデリングを、強い相互依存にもかかわらず別の問題として扱い、推論時間が遅くなる。 これらの制約に対処するため,単一の単眼RGBビデオからビューアとビューダイナミックスの両方を抽出する,全体中心的な4D再構成のための最初の統合フレームワークであるReViVを提案する。 我々は,RGBビデオ,カメラ軌道,視線方向,全体動作,手の動き,深度などの多モード信号に対する全関節確率分布の学習として,タスクを定式化した。 Masked Generative Egocentric Transformerにより、ReViVは単一のフィードフォワードアーキテクチャ内で動作し、ビューアと高速な推論速度で、時間的に一貫した4D再構成を同時に再構築する。 HoloAssist, HOT3D, ARCTIC, Aria Digital Twin, TACOなど,さまざまなベンチマークに関する広範な実験は,ReViVが高度なタスク固有の前提を頼らずに高度に競争力のあるエゴセントリックな深度推定を維持しながら,全体像,手,視線再構成,カメラトラッキングをまたいだ最先端の精度と効率を達成することを実証している。 コードとモデルは、完全にオープンソース化されている。

関連論文リスト

• Hand-4DGS: Feed-Forward 3D Gaussian Splatting for 4D Hand Reconstruction from Egocentric Videos [54.612320509347825]
  我々は,エゴセントリックビデオから直接動的4Dハンドを再構築するための最初のフィードフォワードフレームワークであるHand-4DGSを紹介する。 提案手法は,動的運動をモデル化するために,構造的先行と時間的畳み込みのためのメッシュ誘導表現を取り入れている。
  論文  参考訳（メタデータ） (2026-06-17T14:58:37Z)
• Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video [63.61099683012546]
  本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。 次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。 実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-05-25T06:59:26Z)
• Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting [3.1328424544428852]
  インターネット規模のモノクロビデオを活用するためのフレームワークを構築した。 私たちのコアコントリビューションは、ソースビデオ、幾何アンカー、ターゲットビデオからなる擬似多視点トレーニング三脚の生成です。 提案する拡散変圧器は4Dポイントクラウド誘導アンカーを用いて,最先端の時間的整合性を実現する。
  論文  参考訳（メタデータ） (2026-04-23T15:32:56Z)
• EgoM2P: Egocentric Multimodal Multitask Pretraining [55.259234688003545]
  大規模なエゴセントリックなマルチモーダルモデルとマルチタスクモデルの構築は、ユニークな課題を示している。 EgoM2Pは、時間的に認識されたマルチモーダルトークンから学習し、エゴセントリックな4D理解のための大規模な汎用モデルをトレーニングするマスク付きモデリングフレームワークである。 私たちはEgoM2Pを完全にオープンソース化し、コミュニティを支援し、エゴセントリックなビジョン研究を前進させます。
  論文  参考訳（メタデータ） (2025-06-09T15:59:25Z)
• Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
  Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。 提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。 これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
  論文  参考訳（メタデータ） (2024-12-17T12:43:10Z)
• Self-Supervised Monocular 4D Scene Reconstruction for Egocentric Videos [25.41337525728398]
  EgoMono4Dは、Egocentric Monocular 4D再構成に必要な複数の変数を統一する新しいモデルである。 全てのベースラインと比較して高密度の点雲列再構成において優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-11-14T02:57:11Z)
• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• Human4DiT: 360-degree Human Video Generation with 4D Diffusion Transformer [38.85054820740242]
  1枚の画像から高品質でコヒーレントな人間ビデオを生成するための新しい手法を提案する。 本フレームワークは,グローバル相関を捉える拡散変圧器の強度と,正確な条件注入を行うCNNの強度を組み合わせたものである。 我々は,360度リアルでコヒーレントな人間のモーションビデオを合成する手法の能力を実証した。
  論文  参考訳（メタデータ） (2024-05-27T17:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。