論文の概要: Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction

• arxiv url: http://arxiv.org/abs/2411.06602v1
• Date: Sun, 10 Nov 2024 21:30:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:09:17.361442
• Title: Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction
• Title（参考訳）: 多視点動的再構成のための適応的および時間的に一貫性のあるガウスサーフィン
• Authors: Decai Chen, Brianne Oberson, Ingo Feldmann, Oliver Schreer, Anna Hilsmann, Peter Eisert,
• Abstract要約: AT-GSは、フレーム単位のインクリメンタル最適化により、多視点ビデオから高品質な動的曲面を再構成する新しい手法である。 連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。 本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,高忠実度空間時間新奇なビュー合成を実現する。
• 参考スコア（独自算出の注目度）: 3.9363268745580426
• License:
• Abstract: 3D Gaussian Splatting has recently achieved notable success in novel view synthesis for dynamic scenes and geometry reconstruction in static scenes. Building on these advancements, early methods have been developed for dynamic surface reconstruction by globally optimizing entire sequences. However, reconstructing dynamic scenes with significant topology changes, emerging or disappearing objects, and rapid movements remains a substantial challenge, particularly for long sequences. To address these issues, we propose AT-GS, a novel method for reconstructing high-quality dynamic surfaces from multi-view videos through per-frame incremental optimization. To avoid local minima across frames, we introduce a unified and adaptive gradient-aware densification strategy that integrates the strengths of conventional cloning and splitting techniques. Additionally, we reduce temporal jittering in dynamic surfaces by ensuring consistency in curvature maps across consecutive frames. Our method achieves superior accuracy and temporal coherence in dynamic surface reconstruction, delivering high-fidelity space-time novel view synthesis, even in complex and challenging scenes. Extensive experiments on diverse multi-view video datasets demonstrate the effectiveness of our approach, showing clear advantages over baseline methods. Project page: \url{https://fraunhoferhhi.github.io/AT-GS}
• Abstract（参考訳）: 3D Gaussian Splattingは、動的シーンのための新しいビュー合成と静的シーンにおける幾何学的再構成において、最近顕著な成功を収めている。 これらの進歩に基づいて、全配列をグローバルに最適化し、動的表面再構成のための初期の手法が開発されている。 しかし、トポロジの大きな変化、出現または消失する物体、そして急激な動きを伴う動的なシーンの再構築は、特に長いシーケンスにおいて重要な課題である。 これらの問題に対処するために,フレーム単位のインクリメンタル最適化により,多視点ビデオから高品質な動的曲面を再構成する新しい手法であるAT-GSを提案する。 フレーム間の局所最小化を回避するため,従来のクローニング・分割手法の強みを統合した,統一的かつ適応的な勾配認識型密度化戦略を導入する。 さらに、連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。 本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,複雑で困難なシーンにおいても高忠実な時空間の新規ビュー合成を実現する。 多様な多視点ビデオデータセットに対する大規模な実験により,本手法の有効性が示され,ベースライン法よりも明確な利点が示された。 プロジェクトページ: \url{https://fraunhoferhhi.github.io/AT-GS}

関連論文リスト

• 4D Gaussian Splatting with Scale-aware Residual Field and Adaptive Optimization for Real-time Rendering of Temporally Complex Dynamic Scenes [19.24815625343669]
  SaRO-GSはリアルタイムレンダリングを実現する新しい動的シーン表現である。 時間的に複雑な動的シーンを扱うために,スケールアウェアなResidual Fieldを導入する。 我々の手法は最先端の性能を実証した。
  論文  参考訳（メタデータ） (2024-12-09T08:44:19Z)
• Urban4D: Semantic-Guided 4D Gaussian Splatting for Urban Scene Reconstruction [86.4386398262018]
  Urban4Dは、深い2Dセマンティックマップ生成の進歩に触発されたセマンティック誘導分解戦略である。 我々のアプローチは、信頼できるセマンティック・ガウシアンを通して潜在的に動的対象を区別する。 実世界のデータセットでの実験では、Urban4Dは従来の最先端の手法と同等または優れた品質を実現している。
  論文  参考訳（メタデータ） (2024-12-04T16:59:49Z)
• DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
  本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。 複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T05:49:16Z)
• ReMatching Dynamic Reconstruction Flow [55.272357926111454]
  本稿では,動的再構成モデルに変形前処理を組み込むことにより,一般化品質の向上を目的としたReMatchingフレームワークを提案する。 このフレームワークは高度に適応可能であり、様々な動的表現に適用できる。 合成シーンと実世界のダイナミックシーンの両方を含む一般的なベンチマークの評価は、現在の最先端モデルの再構築精度を明らかに向上させたことを示す。
  論文  参考訳（メタデータ） (2024-11-01T16:09:33Z)
• SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction [24.33543853742041]
  3Dガウススティング(3DGS)は実用的でスケーラブルな再構築手法として登場した。 暗黙的ニューラルネットワークの出力としてモデル化することで,スプレート特徴を効果的に正規化する最適化手法を提案する。 当社のアプローチは,異なるセットアップやシーンの複雑さをまたいだ広範なテストによって実証されるような,静的および動的ケースを効果的に処理する。
  論文  参考訳（メタデータ） (2024-09-17T14:04:20Z)
• SMORE: Simulataneous Map and Object REconstruction [66.66729715211642]
  本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。 我々は、世界が厳格に動く物体と背景に分解される動的なシーンの構成モデルを総合的に捉え、最適化する。
  論文  参考訳（メタデータ） (2024-06-19T23:53:31Z)
• Modeling Ambient Scene Dynamics for Free-view Synthesis [31.233859111566613]
  モノクルキャプチャから周囲のシーンを動的に自由視点で合成する手法を提案する。 本手法は, 複雑な静的シーンを忠実に再構築できる3次元ガウス散乱(3DGS)の最近の進歩に基づいている。
  論文  参考訳（メタデータ） (2024-06-13T17:59:11Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)
• Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
  周期振動ガウスモデル(PVG)を提案する。 PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。 PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
  論文  参考訳（メタデータ） (2023-11-30T13:53:50Z)
• NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view Reconstruction [95.37644907940857]
  我々はNeuS2と呼ばれる高速な神経表面再構成手法を提案する。 NeuS2は、再構成品質を損なうことなく、加速度の2桁の精度向上を実現している。 本研究では,動的シーンの高速トレーニングのための手法を拡張し,インクリメンタルトレーニング戦略と新たなグローバルトランスフォーメーション予測コンポーネントを提案する。
  論文  参考訳（メタデータ） (2022-12-10T07:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。