論文の概要: DePT3R: Joint Dense Point Tracking and 3D Reconstruction of Dynamic Scenes in a Single Forward Pass
- arxiv url: http://arxiv.org/abs/2512.13122v1
- Date: Mon, 15 Dec 2025 09:21:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.602084
- Title: DePT3R: Joint Dense Point Tracking and 3D Reconstruction of Dynamic Scenes in a Single Forward Pass
- Title(参考訳): DePT3R:シングルフォワードパスにおけるダイナミックシーンの3次元同時追跡と3次元再構成
- Authors: Vivek Alumootil, Tuan-Anh Vu, M. Khalid Jawed,
- Abstract要約: DePT3Rは、複数の画像から高密度な点追跡と動的シーンの3次元再構成を同時に行う新しいフレームワークである。
DePT3Rを動的シーンを含むいくつかの困難なベンチマークで検証し、高い性能とメモリ効率の大幅な改善を示す。
- 参考スコア(独自算出の注目度): 2.0487171253259104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current methods for dense 3D point tracking in dynamic scenes typically rely on pairwise processing, require known camera poses, or assume a temporal ordering to input frames, constraining their flexibility and applicability. Additionally, recent advances have successfully enabled efficient 3D reconstruction from large-scale, unposed image collections, underscoring opportunities for unified approaches to dynamic scene understanding. Motivated by this, we propose DePT3R, a novel framework that simultaneously performs dense point tracking and 3D reconstruction of dynamic scenes from multiple images in a single forward pass. This multi-task learning is achieved by extracting deep spatio-temporal features with a powerful backbone and regressing pixel-wise maps with dense prediction heads. Crucially, DePT3R operates without requiring camera poses, substantially enhancing its adaptability and efficiency-especially important in dynamic environments with rapid changes. We validate DePT3R on several challenging benchmarks involving dynamic scenes, demonstrating strong performance and significant improvements in memory efficiency over existing state-of-the-art methods. Data and codes are available via the open repository: https://github.com/StructuresComp/DePT3R
- Abstract(参考訳): ダイナミックシーンにおける高密度な3Dポイントトラッキングの現在の方法は、通常はペア処理に依存し、既知のカメラのポーズを必要とする。
さらに、近年の進歩により、大規模で未提示の画像コレクションからの効率的な3D再構成が実現され、動的シーン理解への統一的なアプローチの機会が強調された。
そこで本研究では,複数画像からの高密度点追跡と動的シーンの3次元再構成を同時に行う新しいフレームワークであるDePT3Rを提案する。
このマルチタスク学習は、強力なバックボーンで時空間の深い特徴を抽出し、高密度な予測ヘッドで画素ワイズマップを回帰することで実現される。
重要なことは、DePT3Rはカメラのポーズを必要とせずに動作し、その適応性と効率を大幅に向上させる。
我々はDePT3Rを動的シーンを含むいくつかの挑戦的なベンチマークで検証し、既存の最先端手法よりも強力な性能とメモリ効率の大幅な向上を実証した。
https://github.com/StructuresComp/DePT3R
関連論文リスト
- D$^2$USt3R: Enhancing 3D Reconstruction for Dynamic Scenes [54.886845755635754]
本研究は動的シーンにおける3次元再構成の課題に対処し,物体の動きが従来の3次元ポイントマップ回帰法の品質を劣化させる。
空間的側面と時間的側面の両方を明示的に組み込むことにより,提案した点マップに対する3次元密度対応のカプセル化に成功した。
論文 参考訳(メタデータ) (2025-04-08T17:59:50Z) - POMATO: Marrying Pointmap Matching with Temporal Motion for Dynamic 3D Reconstruction [53.19968902152528]
POMATOは時間運動と一致する点マップを結合して動的3次元再構成を実現するための統合フレームワークである。
具体的には,RGB画素を動的および静的の両方の領域から3次元ポイントマップにマッピングすることで,明示的なマッチング関係を学習する。
本稿では,複数の下流タスクにまたがる顕著な性能を示すことによって,提案したポイントマップマッチングと時間融合のパラダイムの有効性を示す。
論文 参考訳(メタデータ) (2025-04-08T05:33:13Z) - MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。
各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。
我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
論文 参考訳(メタデータ) (2024-10-04T18:00:07Z) - Visual Geometry Grounded Deep Structure From Motion [20.203320509695306]
本稿では,各コンポーネントが完全に微分可能で,エンドツーエンドでトレーニング可能な,新しいディープパイプラインVGGSfMを提案する。
まず, 深部2次元点追跡の最近の進歩をベースとして, 画素精度の高いトラックを抽出し, ペアマッチングのチェーン化の必要性を解消する。
私たちは、CO3D、IMC Phototourism、ETH3Dという3つの一般的なデータセットで最先端のパフォーマンスを達成しました。
論文 参考訳(メタデータ) (2023-12-07T18:59:52Z) - R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras [106.52409577316389]
R3D3は高密度3次元再構成とエゴモーション推定のためのマルチカメラシステムである。
提案手法は,複数のカメラからの時空間情報と単眼深度補正を利用する。
この設計により、困難で動的な屋外環境の密集した一貫した3次元再構成が可能になる。
論文 参考訳(メタデータ) (2023-08-28T17:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。