論文の概要: SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition
- arxiv url: http://arxiv.org/abs/2401.17857v3
- Date: Fri, 17 May 2024 19:02:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 23:30:28.560119
- Title: SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition
- Title（参考訳）: SAGD: ガウシアン分解による3次元ガウシアン境界拡張セグメンテーション
- Authors: Xu Hu, Yuxi Wang, Lue Fan, Junsong Fan, Junran Peng, Zhen Lei, Qing Li, Zhaoxiang Zhang,
- Abstract要約: 3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。
SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。
提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
- 参考スコア（独自算出の注目度）: 66.80822249039235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting has emerged as an alternative 3D representation for novel view synthesis, benefiting from its high-quality rendering results and real-time rendering speed. However, the 3D Gaussians learned by 3D-GS have ambiguous structures without any geometry constraints. This inherent issue in 3D-GS leads to a rough boundary when segmenting individual objects. To remedy these problems, we propose SAGD, a conceptually simple yet effective boundary-enhanced segmentation pipeline for 3D-GS to improve segmentation accuracy while preserving segmentation speed. Specifically, we introduce a Gaussian Decomposition scheme, which ingeniously utilizes the special structure of 3D Gaussian, finds out, and then decomposes the boundary Gaussians. Moreover, to achieve fast interactive 3D segmentation, we introduce a novel training-free pipeline by lifting a 2D foundation model to 3D-GS. Extensive experiments demonstrate that our approach achieves high-quality 3D segmentation without rough boundary issues, which can be easily applied to other scene editing tasks.
- Abstract（参考訳）: 3D Gaussian Splattingは、高品質なレンダリング結果とリアルタイムレンダリング速度の恩恵を受けながら、新しいビュー合成のための代替3D表現として登場した。
しかし、3D-GSによって学習された3Dガウス多様体は、幾何的制約を伴わないあいまいな構造を持つ。
この3D-GSの本質的な問題は、個々のオブジェクトを分割する際の粗い境界につながる。
これらの問題を解決するために,SAGDを提案する。SAGDは,分割速度を保ちながらセグメンテーション精度を向上させるために,概念的にシンプルで効果的な3D-GSのセグメンテーションパイプラインである。
具体的には、3Dガウスの特別な構造を巧みに利用し、発見し、そして境界ガウスを分解するガウス分解スキームを導入する。
さらに,高速な対話型3Dセグメンテーションを実現するために,2次元基礎モデルを3D-GSに引き上げることにより,新たなトレーニングフリーパイプラインを導入する。
大規模な実験により, 粗い境界問題なく高品質な3次元セグメンテーションを実現し, 他のシーン編集作業にも容易に適用可能であることが示された。
関連論文リスト
- PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - 3D-HGS: 3D Half-Gaussian Splatting [5.766096863155448]
光リアルな3D再構成は、3Dコンピュータビジョンの基本的な問題である。
本稿では,プラグアンドプレイカーネルとして使用できる3Dハーフガウス(3D-HGS)カーネルを提案する。
論文 参考訳（メタデータ） (2024-06-04T19:04:29Z) - Hyper-3DG: Text-to-3D Gaussian Generation via Hypergraph [20.488040789522604]
本稿では,ハイパーグラフ(Hyper-3DG)を用いた3次元ガウス生成法を提案する。
本フレームワークは, 凝集度を最適化し, 劣化を効果的に回避し, 微細に生成した3Dオブジェクトの創出を可能にする。
論文 参考訳（メタデータ） (2024-03-14T09:59:55Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳（メタデータ） (2024-02-22T16:00:20Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳（メタデータ） (2024-01-08T18:56:33Z) - 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。
このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。
実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
論文 参考訳（メタデータ） (2023-12-26T13:28:21Z) - Segment Any 3D Gaussians [85.93694310363325]
本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。
入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。
我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-12-01T17:15:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。