論文の概要: Space-time 2D Gaussian Splatting for Accurate Surface Reconstruction under Complex Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2409.18852v1
- Date: Fri, 27 Sep 2024 15:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-01 08:58:26.804316
- Title: Space-time 2D Gaussian Splatting for Accurate Surface Reconstruction under Complex Dynamic Scenes
- Title(参考訳): 複雑な動的環境下での高精度表面再構成のための時空間2次元ガウススプラッティング
- Authors: Shuo Wang, Binbin Huang, Ruoyu Wang, Shenghua Gao,
- Abstract要約: 複雑なシーンにおける動的内容と閉塞に対処する時空間2次元ガウス散乱法を提案する。
具体的には、動的シーンにおける幾何学的品質を改善するために、標準2次元ガウススプラットを学習し、これらの2次元ガウススプラットを変形させる。
また, 構成不透明化戦略を導入し, 閉塞領域の表面の回復をさらに抑制する。
実世界のスパースビュービデオデータセットとモノクロダイナミックデータセットの実験は、再構築が最先端の手法より優れていることを示した。
- 参考スコア(独自算出の注目度): 30.32214593068206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous surface reconstruction methods either suffer from low geometric accuracy or lengthy training times when dealing with real-world complex dynamic scenes involving multi-person activities, and human-object interactions. To tackle the dynamic contents and the occlusions in complex scenes, we present a space-time 2D Gaussian Splatting approach. Specifically, to improve geometric quality in dynamic scenes, we learn canonical 2D Gaussian splats and deform these 2D Gaussian splats while enforcing the disks of the Gaussian located on the surface of the objects by introducing depth and normal regularizers. Further, to tackle the occlusion issues in complex scenes, we introduce a compositional opacity deformation strategy, which further reduces the surface recovery of those occluded areas. Experiments on real-world sparse-view video datasets and monocular dynamic datasets demonstrate that our reconstructions outperform state-of-the-art methods, especially for the surface of the details. The project page and more visualizations can be found at: https://tb2-sy.github.io/st-2dgs/.
- Abstract(参考訳): 従来の表面再構成法は、多人数活動を含む実世界の複雑なダイナミックシーンや人間と物体の相互作用を扱う場合、幾何学的精度が低いか、長い訓練時間に悩まされる。
複雑なシーンにおける動的内容と閉塞に対処するため,時空間2次元ガウススプラッティング手法を提案する。
具体的には、動的シーンにおける幾何学的品質を改善するために、標準2次元ガウススプラットを学習し、これら2次元ガウススプラットを変形させながら、深さと正規正規化器を導入して物体の表面に位置するガウススの円盤を強制する。
さらに, 複雑なシーンにおける閉塞問題に対処するため, 構成不透明変形戦略を導入し, 閉塞領域の表面の回復をさらに抑制する。
実世界のスパースビュービデオデータセットとモノクロダイナミックデータセットの実験により、再構築は、特に細部の表面において、最先端の手法よりも優れていることが示された。
プロジェクトページとさらなる視覚化は、https://tb2-sy.github.io/st-2dgs/.com/で見ることができる。
関連論文リスト
- Normal-guided Detail-Preserving Neural Implicit Functions for High-Fidelity 3D Surface Reconstruction [6.4279213810512665]
RGBまたはRGBD画像からニューラル暗黙表現を学習する現在の方法は、欠落した部分と詳細を持つ3D曲面を生成する。
本稿では,1次微分特性を持つニューラル表現のトレーニング,すなわち表面正規化が,高精度な3次元表面再構成をもたらすことを示す。
論文 参考訳(メタデータ) (2024-06-07T11:48:47Z) - Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳(メタデータ) (2024-04-16T17:57:19Z) - Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。
提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。
提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
論文 参考訳(メタデータ) (2024-03-28T11:12:33Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:21:24Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳(メタデータ) (2024-03-19T13:39:05Z) - SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳(メタデータ) (2023-12-04T11:57:14Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳(メタデータ) (2023-09-22T16:04:02Z) - Dynamic Multi-View Scene Reconstruction Using Neural Implicit Surface [0.9134661726886928]
マルチビュービデオからの暗黙表現を用いて表面形状と外観を再構成するテンプレートレス手法を提案する。
我々はトポロジーを考慮した変形と符号付き距離場を利用して、微分可能なボリュームレンダリングにより複雑な動的曲面を学習する。
異なる多視点ビデオデータセットを用いた実験により,本手法は高忠実度表面再構成とフォトリアリスティックなノベルビュー合成を実現することを示す。
論文 参考訳(メタデータ) (2023-02-28T19:47:30Z) - Deep Active Surface Models [60.027353171412216]
アクティブサーフェスモデルは複雑な3次元表面をモデル化するのに有用な長い歴史を持っているが、ディープネットワークと組み合わせて使用されるのはアクティブ・コンターのみである。
グラフ畳み込みネットワークにシームレスに統合して、洗練された滑らかさを強制できるレイヤを導入します。
論文 参考訳(メタデータ) (2020-11-17T18:48:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。