論文の概要: Segment Anything in 3D Gaussians
- arxiv url: http://arxiv.org/abs/2401.17857v2
- Date: Thu, 1 Feb 2024 05:05:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 11:54:14.601494
- Title: Segment Anything in 3D Gaussians
- Title（参考訳）: 3Dガウスのセグメンテーション
- Authors: Xu Hu, Yuxi Wang, Lue Fan, Junsong Fan, Junran Peng, Zhen Lei, Qing
Li, Zhaoxiang Zhang
- Abstract要約: ニューラルレイディアンス場(NeRF)の代替3次元表現として3次元ガウス散乱が出現した
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
本研究では,3次元ガウス空間における物体分割を,学習過程や学習パラメータを使わずに,対話的な手順で実現するための新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 69.68566640585671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting has emerged as an alternative 3D representation of
Neural Radiance Fields (NeRFs), benefiting from its high-quality rendering
results and real-time rendering speed. Considering the 3D Gaussian
representation remains unparsed, it is necessary first to execute object
segmentation within this domain. Subsequently, scene editing and collision
detection can be performed, proving vital to a multitude of applications, such
as virtual reality (VR), augmented reality (AR), game/movie production, etc. In
this paper, we propose a novel approach to achieve object segmentation in 3D
Gaussian via an interactive procedure without any training process and learned
parameters. We refer to the proposed method as SA-GS, for Segment Anything in
3D Gaussians. Given a set of clicked points in a single input view, SA-GS can
generalize SAM to achieve 3D consistent segmentation via the proposed
multi-view mask generation and view-wise label assignment methods. We also
propose a cross-view label-voting approach to assign labels from different
views. In addition, in order to address the boundary roughness issue of
segmented objects resulting from the non-negligible spatial sizes of 3D
Gaussian located at the boundary, SA-GS incorporates the simple but effective
Gaussian Decomposition scheme. Extensive experiments demonstrate that SA-GS
achieves high-quality 3D segmentation results, which can also be easily applied
for scene editing and collision detection tasks. Codes will be released soon.
- Abstract（参考訳）: 3d gaussian splattingはneural radiance field(nerfs)の代替3d表現として登場し、高品質なレンダリング結果とリアルタイムレンダリング速度の恩恵を受けている。
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
その後、シーン編集や衝突検出を行うことができ、仮想現実(vr)、拡張現実(ar)、ゲーム/映画制作など、多数のアプリケーションにとって不可欠であることが証明される。
本稿では,学習過程や学習パラメータを必要とせず,インタラクティブな手続きにより3次元ガウス型オブジェクトセグメンテーションを実現するための新しい手法を提案する。
提案手法は, 3次元ガウス群におけるセグメンテーションのSA-GSと呼ぶ。
単一入力ビューにおける一組のクリックポイントが与えられた場合、SA-GSはSAMを一般化し、提案したマルチビューマスク生成とビューワイズラベル割り当て手法により3次元一貫したセグメンテーションを実現する。
また,異なるビューからのラベルを割り当てるクロスビューラベル投票手法を提案する。
さらに、境界に位置する3次元ガウスの非無視空間サイズから生じる分割対象の境界粗さ問題に対処するために、SA-GSは単純だが効果的なガウス分解スキームを取り入れている。
大規模な実験により,SA-GSは高品質な3次元セグメンテーションを達成でき,シーン編集や衝突検出にも容易に適用できることがわかった。
コードはまもなくリリースされる予定だ。
関連論文リスト
- PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - 3D-HGS: 3D Half-Gaussian Splatting [5.766096863155448]
光リアルな3D再構成は、3Dコンピュータビジョンの基本的な問題である。
本稿では,プラグアンドプレイカーネルとして使用できる3Dハーフガウス(3D-HGS)カーネルを提案する。
論文 参考訳（メタデータ） (2024-06-04T19:04:29Z) - Hyper-3DG: Text-to-3D Gaussian Generation via Hypergraph [20.488040789522604]
本稿では,ハイパーグラフ(Hyper-3DG)を用いた3次元ガウス生成法を提案する。
本フレームワークは, 凝集度を最適化し, 劣化を効果的に回避し, 微細に生成した3Dオブジェクトの創出を可能にする。
論文 参考訳（メタデータ） (2024-03-14T09:59:55Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳（メタデータ） (2024-02-22T16:00:20Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳（メタデータ） (2024-01-08T18:56:33Z) - 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。
このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。
実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
論文 参考訳（メタデータ） (2023-12-26T13:28:21Z) - Segment Any 3D Gaussians [85.93694310363325]
本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。
入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。
我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-12-01T17:15:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。