論文の概要: C4D: 4D Made from 3D through Dual Correspondences
- arxiv url: http://arxiv.org/abs/2510.14960v1
- Date: Thu, 16 Oct 2025 17:59:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-17 21:15:14.996589
- Title: C4D: 4D Made from 3D through Dual Correspondences
- Title（参考訳）: C4D:3Dから2D対応で作られた4D
- Authors: Shizun Wang, Zhenxiang Jiang, Xingyi Yang, Xinchao Wang,
- Abstract要約: 時間的対応を利用して既存の3次元再構成を4Dに拡張するフレームワークであるC4Dを紹介する。
C4Dは、短期光学フローと長期点追跡の2種類の対応をキャプチャする。
我々は、追加の移動情報を提供する動的認識ポイントトラッカーを訓練する。
- 参考スコア（独自算出の注目度）: 77.04731692213663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recovering 4D from monocular video, which jointly estimates dynamic geometry and camera poses, is an inevitably challenging problem. While recent pointmap-based 3D reconstruction methods (e.g., DUSt3R) have made great progress in reconstructing static scenes, directly applying them to dynamic scenes leads to inaccurate results. This discrepancy arises because moving objects violate multi-view geometric constraints, disrupting the reconstruction. To address this, we introduce C4D, a framework that leverages temporal Correspondences to extend existing 3D reconstruction formulation to 4D. Specifically, apart from predicting pointmaps, C4D captures two types of correspondences: short-term optical flow and long-term point tracking. We train a dynamic-aware point tracker that provides additional mobility information, facilitating the estimation of motion masks to separate moving elements from the static background, thus offering more reliable guidance for dynamic scenes. Furthermore, we introduce a set of dynamic scene optimization objectives to recover per-frame 3D geometry and camera parameters. Simultaneously, the correspondences lift 2D trajectories into smooth 3D trajectories, enabling fully integrated 4D reconstruction. Experiments show that our framework achieves complete 4D recovery and demonstrates strong performance across multiple downstream tasks, including depth estimation, camera pose estimation, and point tracking. Project Page: https://littlepure2333.github.io/C4D
- Abstract（参考訳）: ダイナミックな幾何学とカメラのポーズを共同で推定するモノクロビデオから4Dを回収することは、必然的に難しい問題だ。
最近のポイントマップベースの3D再構成手法(例えばDUSt3R)は静的なシーンの再構築に大きな進歩を遂げているが、それらを動的シーンに直接適用すると不正確な結果が得られる。
この相違は、移動物体が多視点幾何学的制約に反し、再構成を妨害するから生じる。
そこで本研究では,時間対応を利用して既存の3次元再構成の定式化を4Dに拡張するフレームワークであるC4Dを紹介する。
具体的には、予測ポイントマップとは別に、C4Dは短期光学フローと長期点追跡の2種類の対応をキャプチャする。
移動環境情報を提供する動的認識ポイントトラッカーを訓練し,静的背景から移動要素を分離するためのモーションマスク推定を容易にし,ダイナミックシーンの信頼性を高めた。
さらに,フレームごとの3次元形状とカメラパラメータを復元するための動的シーン最適化手法を提案する。
同時に、通信は2D軌道をスムーズな3D軌道に上げ、完全に統合された4D再構成を可能にする。
実験により,本フレームワークは完全4次元リカバリを実現し,深度推定,カメラポーズ推定,ポイントトラッキングなど,複数の下流タスクにまたがるパフォーマンスを示す。
Project Page: https://littlepure2333.github.io/C4D
関連論文リスト
- St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。
静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。
統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
論文 参考訳（メタデータ） (2025-04-17T17:55:58Z) - D^2USt3R: Enhancing 3D Reconstruction with 4D Pointmaps for Dynamic Scenes [40.371542172080105]
そこで我々は,D2USt3Rを提案する。D2USt3Rは,静的および動的3次元シーンの形状をフィードフォワード方式でシミュレートする。
本手法は,空間的側面と時間的側面の両方を明示的に取り入れることで,提案した4次元ポイントマップへのオブジェクト時間密度対応をカプセル化し,下流タスクを増強する。
論文 参考訳（メタデータ） (2025-04-08T17:59:50Z) - Easi3R: Estimating Disentangled Motion from DUSt3R Without Training [69.51086319339662]
Easi3Rは,4次元再構成のための簡易かつ効率的なトレーニングフリー手法である。
提案手法は,事前学習やネットワークファインチューニングの必要性を排除し,推論中の注意適応を適用した。
実世界のダイナミックビデオの実験では、従来の最先端手法よりも軽量な注意適応が著しく優れていたことが示されている。
論文 参考訳（メタデータ） (2025-03-31T17:59:58Z) - Can Video Diffusion Model Reconstruct 4D Geometry? [66.5454886982702]
Sora3Rは、カジュアルなビデオから4Dのポイントマップを推測するために、大きなダイナミックビデオ拡散モデルのリッチ・テンポラリなテンポラリなテンポラリな時間を利用する新しいフレームワークである。
実験により、Sora3Rはカメラのポーズと詳細なシーン形状の両方を確実に復元し、動的4D再構成のための最先端の手法と同等の性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-03-27T01:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。