論文の概要: DGNS: Deformable Gaussian Splatting and Dynamic Neural Surface for Monocular Dynamic 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2412.03910v2
• Date: Mon, 23 Dec 2024 04:04:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:20:55.586223
• Title: DGNS: Deformable Gaussian Splatting and Dynamic Neural Surface for Monocular Dynamic 3D Reconstruction
• Title（参考訳）: DGNS : 変形可能なガウススプラッティングと動的神経表面による1次元動的3次元再構成
• Authors: Xuesong Li, Jinguang Tong, Jie Hong, Vivien Rolland, Lars Petersson,
• Abstract要約: 本稿では,動的ノベルビュー合成と3次元再構成の2つの課題に取り組む。 変形可能なガウススプラッティングと動的ニューラルサーフェスというハイブリッドフレームワークを導入する。
• 参考スコア（独自算出の注目度）: 17.2650972298677
• License:
• Abstract: Dynamic scene reconstruction from monocular video is critical for real-world applications. This paper tackles the dual challenges of dynamic novel-view synthesis and 3D geometry reconstruction by introducing a hybrid framework: Deformable Gaussian Splatting and Dynamic Neural Surfaces (DGNS), in which both modules can leverage each other for both tasks. During training, depth maps generated by the deformable Gaussian splatting module guide the ray sampling for faster processing and provide depth supervision within the dynamic neural surface module to improve geometry reconstruction. Simultaneously, the dynamic neural surface directs the distribution of Gaussian primitives around the surface, enhancing rendering quality. To further refine depth supervision, we introduce a depth-filtering process on depth maps derived from Gaussian rasterization. Extensive experiments on public datasets demonstrate that DGNS achieves state-of-the-art performance in both novel-view synthesis and 3D reconstruction.
• Abstract（参考訳）: モノクロ映像からの動的シーン再構成は現実の応用には不可欠である。 本稿では,両モジュールが両タスクで互いに活用できる変形可能なガウス平滑化と動的ニューラルサーフェス(DGNS)を導入することで,動的ノベルビュー合成と3次元幾何再構成の2つの課題に取り組む。 トレーニング中、変形可能なガウススプレイティングモジュールによって生成された深度マップは、高速な処理のためにレイサンプリングをガイドし、動的ニューラルネットワークモジュール内の深度監視を提供し、幾何再構成を改善する。 同時に、動的ニューラルネットワーク表面は、表面上のガウス原始体の分布を誘導し、レンダリング品質を向上する。 さらに詳細な深度監視を行うため,ガウスラスタ化から得られた深度マップの深度フィルタリングプロセスを導入する。 公開データセットに対する大規模な実験により、DGNSは、新しいビュー合成と3D再構成の両方において最先端のパフォーマンスを達成することが示された。

関連論文リスト

• DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
  本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。 複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T05:49:16Z)
• Space-time 2D Gaussian Splatting for Accurate Surface Reconstruction under Complex Dynamic Scenes [30.32214593068206]
  複雑なシーンにおける動的内容と閉塞に対処する時空間2次元ガウス散乱法を提案する。 具体的には、動的シーンにおける幾何学的品質を改善するために、標準2次元ガウススプラットを学習し、これらの2次元ガウススプラットを変形させる。 また, 構成不透明化戦略を導入し, 閉塞領域の表面の回復をさらに抑制する。 実世界のスパースビュービデオデータセットとモノクロダイナミックデータセットの実験は、再構築が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2024-09-27T15:50:36Z)
• DynaSurfGS: Dynamic Surface Reconstruction with Planar-based Gaussian Splatting [13.762831851385227]
  本研究では,動的シナリオのフォトリアリスティックレンダリングと高忠実な表面再構成を実現するためにDynaSurfGSを提案する。 このフレームワークはまず、4Dニューラルボクセルのガウスの特徴をプラナーベースのガウススプラッティングに組み込んで、表面の正確な再構築を容易にする。 また、ARAP(as-rigid-as-possible)制約を組み込んで、時間ステップ間の3Dガウシアン地区の局所的な剛性を維持する。
  論文  参考訳（メタデータ） (2024-08-26T01:36:46Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
  動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-18T03:46:26Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• DynamicSurf: Dynamic Neural RGB-D Surface Reconstruction with an Optimizable Feature Grid [7.702806654565181]
  DynamicSurfは、モノクロRGB-Dビデオから非剛体表面の高忠実度3Dモデリングのためのモデルのない暗黙表面再構成手法である。 我々は、表面幾何学の正準表現を現在のフレームにマッピングする神経変形場を学習する。 我々は、純粋ベースアプローチよりも6ドルのスピードアップで、様々なフレームのシーケンスを最適化できることを実証した。
  論文  参考訳（メタデータ） (2023-11-14T13:39:01Z)
• HR-NeuS: Recovering High-Frequency Surface Geometry via Neural Implicit Surfaces [6.382138631957651]
  我々は新しい暗黙表面再構成法であるHigh-Resolution NeuSを提案する。 HR-NeuSは大規模な再構成精度を維持しながら高周波表面形状を復元する。 我々は,DTUおよびBlendedMVSデータセットを用いた実験により,従来の手法と同等の精度で定性的に詳細かつ定量的な3次元測地を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-02-14T02:25:16Z)
• Neural Surface Reconstruction of Dynamic Scenes with Monocular RGB-D Camera [26.410460029742456]
  モノクラーRGB-Dカメラから動的シーンの高忠実度形状と動きを復元するテンプレートレス手法を提案する。 公開データセットと収集データセットの実験により、NDRは既存の単分子動的再構成法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-30T13:09:39Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。