論文の概要: Semantic Anything in 3D Gaussians
- arxiv url: http://arxiv.org/abs/2401.17857v1
- Date: Wed, 31 Jan 2024 14:19:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 14:29:04.619072
- Title: Semantic Anything in 3D Gaussians
- Title(参考訳): 3次元ガウスのセマンティックなもの
- Authors: Xu Hu, Yuxi Wang, Lue Fan, Junsong Fan, Junran Peng, Zhen Lei, Qing
Li, Zhaoxiang Zhang
- Abstract要約: ニューラルレイディアンス場(NeRF)の代替3次元表現として3次元ガウス散乱が出現した
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
本研究では,3次元ガウス空間における物体分割を,学習過程や学習パラメータを使わずに,対話的な手順で実現するための新しい手法を提案する。
- 参考スコア(独自算出の注目度): 69.68566640585671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting has emerged as an alternative 3D representation of
Neural Radiance Fields (NeRFs), benefiting from its high-quality rendering
results and real-time rendering speed. Considering the 3D Gaussian
representation remains unparsed, it is necessary first to execute object
segmentation within this domain. Subsequently, scene editing and collision
detection can be performed, proving vital to a multitude of applications, such
as virtual reality (VR), augmented reality (AR), game/movie production, etc. In
this paper, we propose a novel approach to achieve object segmentation in 3D
Gaussian via an interactive procedure without any training process and learned
parameters. We refer to the proposed method as SA-GS, for Segment Anything in
3D Gaussians. Given a set of clicked points in a single input view, SA-GS can
generalize SAM to achieve 3D consistent segmentation via the proposed
multi-view mask generation and view-wise label assignment methods. We also
propose a cross-view label-voting approach to assign labels from different
views. In addition, in order to address the boundary roughness issue of
segmented objects resulting from the non-negligible spatial sizes of 3D
Gaussian located at the boundary, SA-GS incorporates the simple but effective
Gaussian Decomposition scheme. Extensive experiments demonstrate that SA-GS
achieves high-quality 3D segmentation results, which can also be easily applied
for scene editing and collision detection tasks. Codes will be released soon.
- Abstract(参考訳): 3d gaussian splattingはneural radiance field(nerfs)の代替3d表現として登場し、高品質なレンダリング結果とリアルタイムレンダリング速度の恩恵を受けている。
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
その後、シーン編集や衝突検出を行うことができ、仮想現実(vr)、拡張現実(ar)、ゲーム/映画制作など、多数のアプリケーションにとって不可欠であることが証明される。
本稿では,学習過程や学習パラメータを必要とせず,インタラクティブな手続きにより3次元ガウス型オブジェクトセグメンテーションを実現するための新しい手法を提案する。
提案手法は, 3次元ガウス群におけるセグメンテーションのSA-GSと呼ぶ。
単一入力ビューにおける一組のクリックポイントが与えられた場合、SA-GSはSAMを一般化し、提案したマルチビューマスク生成とビューワイズラベル割り当て手法により3次元一貫したセグメンテーションを実現する。
また,異なるビューからのラベルを割り当てるクロスビューラベル投票手法を提案する。
さらに、境界に位置する3次元ガウスの非無視空間サイズから生じる分割対象の境界粗さ問題に対処するために、SA-GSは単純だが効果的なガウス分解スキームを取り入れている。
大規模な実験により,SA-GSは高品質な3次元セグメンテーションを達成でき,シーン編集や衝突検出にも容易に適用できることがわかった。
コードはまもなくリリースされる予定だ。
関連論文リスト
- LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field [13.815932949774858]
シネマグラフ(Cinemagraph)は、静止画と微妙な動きの要素を組み合わせた視覚メディアの一種である。
本稿では,3次元ガウスモデルを用いて,2次元画像空間から3次元空間への撮影画像の高次化を提案する。
実験の結果,提案手法の有効性を検証し,高品質で視覚的に魅力的なシーン生成を実証した。
論文 参考訳(メタデータ) (2024-04-13T11:07:53Z) - Recent Advances in 3D Gaussian Splatting [31.3820273122585]
3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。
3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。
本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
論文 参考訳(メタデータ) (2024-03-17T07:57:08Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。
このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。
実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
論文 参考訳(メタデータ) (2023-12-26T13:28:21Z) - SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳(メタデータ) (2023-12-17T09:05:47Z) - BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D
Scene Generation [96.58789785954409]
本研究では,同変放射場と鳥眼視図のガイダンスを組み込んだ実用的で効率的な3次元表現を提案する。
局所的なシーンを合成し、スムーズな一貫性で縫い合わせることで、大規模で無限スケールの3Dシーンを作ります。
論文 参考訳(メタデータ) (2023-12-04T18:56:10Z) - Segment Any 3D Gaussians [90.24631304563835]
本稿では,新しい3次元対話型セグメンテーション手法であるSegment Any 3D GAussians (SAGA)を紹介する。
SAGAは2次元セグメンテーションの基礎モデルを3次元ガウススプラッティング(3DGS)とシームレスにブレンドする。
SAGAはミリ秒で3Dセグメンテーションを完了でき、以前のSOTAと比べて1000倍の加速を実現している。
論文 参考訳(メタデータ) (2023-12-01T17:15:24Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [71.54526294251887]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
離散的でグループ化された3Dガウスアンは、視覚的品質、きめ細かい粒度、効率で、あらゆるものを3Dで再構成、分割、編集できることを示す。
論文 参考訳(メタデータ) (2023-12-01T17:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。