論文の概要: Segment Any 3D Gaussians
- arxiv url: http://arxiv.org/abs/2312.00860v1
- Date: Fri, 1 Dec 2023 17:15:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 20:29:50.954044
- Title: Segment Any 3D Gaussians
- Title(参考訳): Segment Any 3D Gaussians
- Authors: Jiazhong Cen, Jiemin Fang, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei
Shen, Qi Tian
- Abstract要約: 本稿では,新しい3次元対話型セグメンテーション手法であるSegment Any 3D GAussians (SAGA)を紹介する。
SAGAは2次元セグメンテーションの基礎モデルを3次元ガウススプラッティング(3DGS)とシームレスにブレンドする。
SAGAはミリ秒で3Dセグメンテーションを完了でき、以前のSOTAと比べて1000倍の加速を実現している。
- 参考スコア(独自算出の注目度): 90.24631304563835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive 3D segmentation in radiance fields is an appealing task since its
importance in 3D scene understanding and manipulation. However, existing
methods face challenges in either achieving fine-grained, multi-granularity
segmentation or contending with substantial computational overhead, inhibiting
real-time interaction. In this paper, we introduce Segment Any 3D GAussians
(SAGA), a novel 3D interactive segmentation approach that seamlessly blends a
2D segmentation foundation model with 3D Gaussian Splatting (3DGS), a recent
breakthrough of radiance fields. SAGA efficiently embeds multi-granularity 2D
segmentation results generated by the segmentation foundation model into 3D
Gaussian point features through well-designed contrastive training. Evaluation
on existing benchmarks demonstrates that SAGA can achieve competitive
performance with state-of-the-art methods. Moreover, SAGA achieves
multi-granularity segmentation and accommodates various prompts, including
points, scribbles, and 2D masks. Notably, SAGA can finish the 3D segmentation
within milliseconds, achieving nearly 1000x acceleration compared to previous
SOTA. The project page is at https://jumpat.github.io/SAGA.
- Abstract(参考訳): 放射場におけるインタラクティブな3Dセグメンテーションは、3Dシーンの理解と操作において重要であるため、魅力的な課題である。
しかし、既存の手法は、細粒度で多粒度なセグメンテーションを達成するか、あるいはかなりの計算オーバーヘッドで競合し、リアルタイムの相互作用を阻害する。
本稿では,新しい3次元対話型セグメンテーション手法であるSegment Any 3D GAussians(SAGA)について紹介する。
sagaは、高度に設計されたコントラストトレーニングを通じて、セグメンテーション基盤モデルによって生成された複数粒度2次元セグメンテーション結果を3次元ガウス点特徴に効率的に組み込む。
既存のベンチマークによる評価は、SAGAが最先端の手法と競合する性能を達成できることを示している。
さらに、複数の粒度セグメンテーションを実現し、ポイント、スクリブル、および2dマスクを含む様々なプロンプトに対応している。
特に、SAGAはミリ秒で3Dセグメンテーションを完了でき、以前のSOTAと比べて1000倍近い加速を実現している。
プロジェクトページはhttps://jumpat.github.io/saga。
関連論文リスト
- PointSeg: A Training-Free Paradigm for 3D Scene Segmentation via
Foundation Models [53.45712917347696]
我々は、市販の視覚基盤モデルを利用して、3Dシーン認識タスクに対処する、新しいトレーニングフリーパラダイムであるPointSegを提案する。
PointSegは正確な3Dプロンプトを取得してフレーム間で対応するピクセルを調整することで、任意の3Dシーンを分割することができる。
このアプローチは,ScanNet,ScanNet++,KITTI-360データセット上の13.4$%,11.3$%,12$%のmAPで最先端のスペシャリストモデルを大幅に上回る。
論文 参考訳(メタデータ) (2024-03-11T03:28:20Z) - Segment Anything in 3D Gaussians [69.68566640585671]
ニューラルレイディアンス場(NeRF)の代替3次元表現として3次元ガウス散乱が出現した
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
本研究では,3次元ガウス空間における物体分割を,学習過程や学習パラメータを使わずに,対話的な手順で実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T14:19:03Z) - 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。
このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。
実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
論文 参考訳(メタデータ) (2023-12-26T13:28:21Z) - SAM-guided Graph Cut for 3D Instance Segmentation [63.797612618531346]
本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。
本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。
本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
論文 参考訳(メタデータ) (2023-12-13T18:59:58Z) - PartSLIP++: Enhancing Low-Shot 3D Part Segmentation via Multi-View
Instance Segmentation and Maximum Likelihood Estimation [32.2861030554128]
最近の進歩であるPartSLIPは、ゼロと少数ショットの3D部分セグメンテーションにおいて大きな進歩を遂げている。
先代の制限を克服するために設計された拡張バージョンであるPartSLIP++を紹介する。
ローショットな3Dセマンティクスとインスタンスベースのオブジェクト部分分割タスクの両方において、PartSLIP++はPartSLIPよりも優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-12-05T01:33:04Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [71.54526294251887]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
離散的でグループ化された3Dガウスアンは、視覚的品質、きめ細かい粒度、効率で、あらゆるものを3Dで再構成、分割、編集できることを示す。
論文 参考訳(メタデータ) (2023-12-01T17:09:31Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳(メタデータ) (2022-08-18T00:48:15Z) - 3D Guided Weakly Supervised Semantic Segmentation [27.269847900950943]
本稿では,スパース境界ボックスラベルを利用可能な3次元情報に組み込むことにより,弱教師付き2次元セマンティックセマンティックセマンティックセマンティクスモデルを提案する。
手動で2D-3Dセマンティックス(2D-3D-S)データセットのサブセットにバウンディングボックスをラベル付けし、2D-3D推論モジュールを導入し、正確なピクセルワイドセグメント提案マスクを生成する。
論文 参考訳(メタデータ) (2020-12-01T03:34:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。