論文の概要: Segment Anything in 3D Gaussians
- arxiv url: http://arxiv.org/abs/2401.17857v2
- Date: Thu, 1 Feb 2024 05:05:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 11:54:14.601494
- Title: Segment Anything in 3D Gaussians
- Title(参考訳): 3Dガウスのセグメンテーション
- Authors: Xu Hu, Yuxi Wang, Lue Fan, Junsong Fan, Junran Peng, Zhen Lei, Qing
Li, Zhaoxiang Zhang
- Abstract要約: ニューラルレイディアンス場(NeRF)の代替3次元表現として3次元ガウス散乱が出現した
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
本研究では,3次元ガウス空間における物体分割を,学習過程や学習パラメータを使わずに,対話的な手順で実現するための新しい手法を提案する。
- 参考スコア(独自算出の注目度): 69.68566640585671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting has emerged as an alternative 3D representation of
Neural Radiance Fields (NeRFs), benefiting from its high-quality rendering
results and real-time rendering speed. Considering the 3D Gaussian
representation remains unparsed, it is necessary first to execute object
segmentation within this domain. Subsequently, scene editing and collision
detection can be performed, proving vital to a multitude of applications, such
as virtual reality (VR), augmented reality (AR), game/movie production, etc. In
this paper, we propose a novel approach to achieve object segmentation in 3D
Gaussian via an interactive procedure without any training process and learned
parameters. We refer to the proposed method as SA-GS, for Segment Anything in
3D Gaussians. Given a set of clicked points in a single input view, SA-GS can
generalize SAM to achieve 3D consistent segmentation via the proposed
multi-view mask generation and view-wise label assignment methods. We also
propose a cross-view label-voting approach to assign labels from different
views. In addition, in order to address the boundary roughness issue of
segmented objects resulting from the non-negligible spatial sizes of 3D
Gaussian located at the boundary, SA-GS incorporates the simple but effective
Gaussian Decomposition scheme. Extensive experiments demonstrate that SA-GS
achieves high-quality 3D segmentation results, which can also be easily applied
for scene editing and collision detection tasks. Codes will be released soon.
- Abstract(参考訳): 3d gaussian splattingはneural radiance field(nerfs)の代替3d表現として登場し、高品質なレンダリング結果とリアルタイムレンダリング速度の恩恵を受けている。
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
その後、シーン編集や衝突検出を行うことができ、仮想現実(vr)、拡張現実(ar)、ゲーム/映画制作など、多数のアプリケーションにとって不可欠であることが証明される。
本稿では,学習過程や学習パラメータを必要とせず,インタラクティブな手続きにより3次元ガウス型オブジェクトセグメンテーションを実現するための新しい手法を提案する。
提案手法は, 3次元ガウス群におけるセグメンテーションのSA-GSと呼ぶ。
単一入力ビューにおける一組のクリックポイントが与えられた場合、SA-GSはSAMを一般化し、提案したマルチビューマスク生成とビューワイズラベル割り当て手法により3次元一貫したセグメンテーションを実現する。
また,異なるビューからのラベルを割り当てるクロスビューラベル投票手法を提案する。
さらに、境界に位置する3次元ガウスの非無視空間サイズから生じる分割対象の境界粗さ問題に対処するために、SA-GSは単純だが効果的なガウス分解スキームを取り入れている。
大規模な実験により,SA-GSは高品質な3次元セグメンテーションを達成でき,シーン編集や衝突検出にも容易に適用できることがわかった。
コードはまもなくリリースされる予定だ。
関連論文リスト
- GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。
このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。
実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
論文 参考訳(メタデータ) (2023-12-26T13:28:21Z) - Compact 3D Scene Representation via Self-Organizing Gaussian Grids [11.604386285817302]
局所的均一性を持つ2次元格子に3次元ガウス格子のパラメータを整理したコンパクトなシーン表現を導入する。
本手法は,3次元シーンの分布と消費の領域において,トレーニング時間の増加を伴わず,複雑なシーンの8倍から26倍の縮小係数を達成している。
論文 参考訳(メタデータ) (2023-12-19T20:18:29Z) - SAI3D: Segment Any Instance in 3D Scenes [72.65788433148309]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
Scan-Netとより挑戦的なScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳(メタデータ) (2023-12-17T09:05:47Z) - BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D
Scene Generation [96.58789785954409]
本研究では,同変放射場と鳥眼視図のガイダンスを組み込んだ実用的で効率的な3次元表現を提案する。
局所的なシーンを合成し、スムーズな一貫性で縫い合わせることで、大規模で無限スケールの3Dシーンを作ります。
論文 参考訳(メタデータ) (2023-12-04T18:56:10Z) - Segment Any 3D Gaussians [90.24631304563835]
本稿では,新しい3次元対話型セグメンテーション手法であるSegment Any 3D GAussians (SAGA)を紹介する。
SAGAは2次元セグメンテーションの基礎モデルを3次元ガウススプラッティング(3DGS)とシームレスにブレンドする。
SAGAはミリ秒で3Dセグメンテーションを完了でき、以前のSOTAと比べて1000倍の加速を実現している。
論文 参考訳(メタデータ) (2023-12-01T17:15:24Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [71.54526294251887]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
離散的でグループ化された3Dガウスアンは、視覚的品質、きめ細かい粒度、効率で、あらゆるものを3Dで再構成、分割、編集できることを示す。
論文 参考訳(メタデータ) (2023-12-01T17:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。