論文の概要: D^2USt3R: Enhancing 3D Reconstruction with 4D Pointmaps for Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2504.06264v1
• Date: Tue, 08 Apr 2025 17:59:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 15:29:01.544133
• Title: D^2USt3R: Enhancing 3D Reconstruction with 4D Pointmaps for Dynamic Scenes
• Title（参考訳）: D^2USt3R:動的シーンのための4次元ポイントマップによる3次元再構成の強化
• Authors: Jisang Han, Honggyu An, Jaewoo Jung, Takuya Narihira, Junyoung Seo, Kazumi Fukuda, Chaehyun Kim, Sunghwan Hong, Yuki Mitsufuji, Seungryong Kim,
• Abstract要約: そこで我々は,D2USt3Rを提案する。D2USt3Rは,静的および動的3次元シーンの形状をフィードフォワード方式でシミュレートする。 本手法は,空間的側面と時間的側面の両方を明示的に取り入れることで,提案した4次元ポイントマップへのオブジェクト時間密度対応をカプセル化し,下流タスクを増強する。
• 参考スコア（独自算出の注目度）: 40.371542172080105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We address the task of 3D reconstruction in dynamic scenes, where object motions degrade the quality of previous 3D pointmap regression methods, such as DUSt3R, originally designed for static 3D scene reconstruction. Although these methods provide an elegant and powerful solution in static settings, they struggle in the presence of dynamic motions that disrupt alignment based solely on camera poses. To overcome this, we propose D^2USt3R that regresses 4D pointmaps that simultaneiously capture both static and dynamic 3D scene geometry in a feed-forward manner. By explicitly incorporating both spatial and temporal aspects, our approach successfully encapsulates spatio-temporal dense correspondence to the proposed 4D pointmaps, enhancing downstream tasks. Extensive experimental evaluations demonstrate that our proposed approach consistently achieves superior reconstruction performance across various datasets featuring complex motions.
• Abstract（参考訳）: 動的シーンにおける3次元再構成の課題は、物体の動きが、DUSt3Rのような従来の3次元ポイントマップ回帰手法の質を劣化させるというものである。 これらの手法は静的な設定においてエレガントで強力なソリューションを提供するが、カメラのポーズのみに基づくアライメントを乱す動的な動きの存在に苦慮している。 そこで我々は,D^2USt3Rを提案する。D^2USt3Rは,静的な3次元シーン形状と動的な3次元シーン形状の両方をフィードフォワード方式で同時にキャプチャする4Dポイントマップを回帰する。 空間的側面と時間的側面の両方を明示的に組み込むことで,提案した4次元点マップに対する時空間密度対応のカプセル化を実現し,下流タスクの強化を実現した。 大規模な実験により,提案手法は複雑な動きを特徴とする各種データセットの再構成性能を一貫して向上することを示した。

関連論文リスト

• St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
  St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。 静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。 統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
  論文  参考訳（メタデータ） (2025-04-17T17:55:58Z)
• POMATO: Marrying Pointmap Matching with Temporal Motion for Dynamic 3D Reconstruction [53.19968902152528]
  POMATOは時間運動と一致する点マップを結合して動的3次元再構成を実現するための統合フレームワークである。 具体的には,RGB画素を動的および静的の両方の領域から3次元ポイントマップにマッピングすることで,明示的なマッチング関係を学習する。 本稿では,複数の下流タスクにまたがる顕著な性能を示すことによって,提案したポイントマップマッチングと時間融合のパラダイムの有効性を示す。
  論文  参考訳（メタデータ） (2025-04-08T05:33:13Z)
• UnIRe: Unsupervised Instance Decomposition for Dynamic Urban Scene Reconstruction [27.334884564978907]
  シーンを静的な背景と個々の動的インスタンスに分解する3D Splatting (3DGS)ベースのアプローチであるUnIReを提案する。 中心となる4Dスーパーポイントは、多フレームLiDAR点を4D空間にクラスタ化する新しい表現である。 実験により,本手法は動的シーン再構成において,高精度かつ柔軟なインスタンスレベルの編集を可能にしながら,既存の手法よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2025-04-01T13:15:58Z)
• Driv3R: Learning Dense 4D Reconstruction for Autonomous Driving [116.10577967146762]
  マルチビュー画像シーケンスからフレーム単位のポイントマップを直接回帰するフレームワークであるDriv3Rを提案する。 我々は4次元フロー予測器を用いてシーン内の移動物体を識別し、これらの動的領域の再構築をより重視する。 Driv3Rは4D動的シーン再構築において従来のフレームワークより優れており、推論速度は15倍高速である。
  論文  参考訳（メタデータ） (2024-12-09T18:58:03Z)
• T-3DGS: Removing Transient Objects for 3D Scene Reconstruction [83.05271859398779]
  映像シーケンスにおける過渡的オブジェクトは、3Dシーン再構成の品質を著しく低下させる可能性がある。 我々は,ガウススプラッティングを用いた3次元再構成において,過渡的障害を頑健に除去する新しいフレームワークT-3DGSを提案する。
  論文  参考訳（メタデータ） (2024-11-29T07:45:24Z)
• Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
  本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。 本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。 提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-25T08:23:38Z)
• Dynamics-Aware Gaussian Splatting Streaming Towards Fast On-the-Fly 4D Reconstruction [15.588032729272536]
  現在の3DGSベースのストリーミング手法は、ガウス原始体を均一に扱い、密度の高いガウスを常に更新する。 そこで本研究では, 反復的流動性4次元動的空間再構成のための新しい3段階パイプラインを提案する。 提案手法は,オンライン4次元再構成における最先端性能を実現し,最速のオンザフライトレーニング,優れた表現品質,リアルタイムレンダリング能力を示す。
  論文  参考訳（メタデータ） (2024-11-22T10:47:47Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。