論文の概要: Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction

• arxiv url: http://arxiv.org/abs/2411.06602v1
• Date: Sun, 10 Nov 2024 21:30:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:09:17.361442
• Title: Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction
• Title（参考訳）: 多視点動的再構成のための適応的および時間的に一貫性のあるガウスサーフィン
• Authors: Decai Chen, Brianne Oberson, Ingo Feldmann, Oliver Schreer, Anna Hilsmann, Peter Eisert,
• Abstract要約: AT-GSは、フレーム単位のインクリメンタル最適化により、多視点ビデオから高品質な動的曲面を再構成する新しい手法である。 連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。 本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,高忠実度空間時間新奇なビュー合成を実現する。
• 参考スコア（独自算出の注目度）: 3.9363268745580426
• License:
• Abstract: 3D Gaussian Splatting has recently achieved notable success in novel view synthesis for dynamic scenes and geometry reconstruction in static scenes. Building on these advancements, early methods have been developed for dynamic surface reconstruction by globally optimizing entire sequences. However, reconstructing dynamic scenes with significant topology changes, emerging or disappearing objects, and rapid movements remains a substantial challenge, particularly for long sequences. To address these issues, we propose AT-GS, a novel method for reconstructing high-quality dynamic surfaces from multi-view videos through per-frame incremental optimization. To avoid local minima across frames, we introduce a unified and adaptive gradient-aware densification strategy that integrates the strengths of conventional cloning and splitting techniques. Additionally, we reduce temporal jittering in dynamic surfaces by ensuring consistency in curvature maps across consecutive frames. Our method achieves superior accuracy and temporal coherence in dynamic surface reconstruction, delivering high-fidelity space-time novel view synthesis, even in complex and challenging scenes. Extensive experiments on diverse multi-view video datasets demonstrate the effectiveness of our approach, showing clear advantages over baseline methods. Project page: \url{https://fraunhoferhhi.github.io/AT-GS}
• Abstract（参考訳）: 3D Gaussian Splattingは、動的シーンのための新しいビュー合成と静的シーンにおける幾何学的再構成において、最近顕著な成功を収めている。 これらの進歩に基づいて、全配列をグローバルに最適化し、動的表面再構成のための初期の手法が開発されている。 しかし、トポロジの大きな変化、出現または消失する物体、そして急激な動きを伴う動的なシーンの再構築は、特に長いシーケンスにおいて重要な課題である。 これらの問題に対処するために,フレーム単位のインクリメンタル最適化により,多視点ビデオから高品質な動的曲面を再構成する新しい手法であるAT-GSを提案する。 フレーム間の局所最小化を回避するため,従来のクローニング・分割手法の強みを統合した,統一的かつ適応的な勾配認識型密度化戦略を導入する。 さらに、連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。 本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,複雑で困難なシーンにおいても高忠実な時空間の新規ビュー合成を実現する。 多様な多視点ビデオデータセットに対する大規模な実験により,本手法の有効性が示され,ベースライン法よりも明確な利点が示された。 プロジェクトページ: \url{https://fraunhoferhhi.github.io/AT-GS}

関連論文リスト

• DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
  本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。 複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T05:49:16Z)
• ReMatching Dynamic Reconstruction Flow [55.272357926111454]
  本稿では,動的再構成モデルに変形前処理を組み込むことにより,一般化品質の向上を目的としたReMatchingフレームワークを提案する。 このフレームワークは高度に適応可能であり、様々な動的表現に適用できる。 合成シーンと実世界のダイナミックシーンの両方を含む一般的なベンチマークの評価は、現在の最先端モデルの再構築精度を明らかに向上させたことを示す。
  論文  参考訳（メタデータ） (2024-11-01T16:09:33Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction [24.33543853742041]
  3Dガウススティング(3DGS)は実用的でスケーラブルな再構築手法として登場した。 暗黙的ニューラルネットワークの出力としてモデル化することで,スプレート特徴を効果的に正規化する最適化手法を提案する。 当社のアプローチは,異なるセットアップやシーンの複雑さをまたいだ広範なテストによって実証されるような,静的および動的ケースを効果的に処理する。
  論文  参考訳（メタデータ） (2024-09-17T14:04:20Z)
• Gaussian Splatting LK [0.11249583407496218]
  本稿では,動的ガウススティングフレームワークにおけるネイティブワープフィールドの正規化の可能性について検討する。 フォワードワープフィールドネットワークに固有の知識を利用して解析速度場を導出できることが示される。 このルーカス・カナーデ型解析正規化により,高ダイナミックなシーンを再構成する際の優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2024-07-16T01:50:43Z)
• Simultaneous Map and Object Reconstruction [66.66729715211642]
  本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。 我々は、最近の新しいビュー合成法から着想を得て、大域的な最適化として再構築問題を提起する。 連続動作の慎重なモデリングにより, 回転するLiDARセンサの回転シャッター効果を補うことができる。
  論文  参考訳（メタデータ） (2024-06-19T23:53:31Z)
• Modeling Ambient Scene Dynamics for Free-view Synthesis [31.233859111566613]
  モノクルキャプチャから周囲のシーンを動的に自由視点で合成する手法を提案する。 本手法は, 複雑な静的シーンを忠実に再構築できる3次元ガウス散乱(3DGS)の最近の進歩に基づいている。
  論文  参考訳（メタデータ） (2024-06-13T17:59:11Z)
• SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
  我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。 我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。 我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
  論文  参考訳（メタデータ） (2023-12-20T03:54:03Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)
• Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
  周期振動ガウスモデル(PVG)を提案する。 PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。 PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
  論文  参考訳（メタデータ） (2023-11-30T13:53:50Z)
• NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view Reconstruction [95.37644907940857]
  我々はNeuS2と呼ばれる高速な神経表面再構成手法を提案する。 NeuS2は、再構成品質を損なうことなく、加速度の2桁の精度向上を実現している。 本研究では,動的シーンの高速トレーニングのための手法を拡張し,インクリメンタルトレーニング戦略と新たなグローバルトランスフォーメーション予測コンポーネントを提案する。
  論文  参考訳（メタデータ） (2022-12-10T07:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。