論文の概要: Segment Any 3D Gaussians

• arxiv url: http://arxiv.org/abs/2312.00860v1
• Date: Fri, 1 Dec 2023 17:15:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:29:50.954044
• Title: Segment Any 3D Gaussians
• Title（参考訳）: Segment Any 3D Gaussians
• Authors: Jiazhong Cen, Jiemin Fang, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian
• Abstract要約: 本稿では,新しい3次元対話型セグメンテーション手法であるSegment Any 3D GAussians (SAGA)を紹介する。 SAGAは2次元セグメンテーションの基礎モデルを3次元ガウススプラッティング(3DGS)とシームレスにブレンドする。 SAGAはミリ秒で3Dセグメンテーションを完了でき、以前のSOTAと比べて1000倍の加速を実現している。
• 参考スコア（独自算出の注目度）: 90.24631304563835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive 3D segmentation in radiance fields is an appealing task since its importance in 3D scene understanding and manipulation. However, existing methods face challenges in either achieving fine-grained, multi-granularity segmentation or contending with substantial computational overhead, inhibiting real-time interaction. In this paper, we introduce Segment Any 3D GAussians (SAGA), a novel 3D interactive segmentation approach that seamlessly blends a 2D segmentation foundation model with 3D Gaussian Splatting (3DGS), a recent breakthrough of radiance fields. SAGA efficiently embeds multi-granularity 2D segmentation results generated by the segmentation foundation model into 3D Gaussian point features through well-designed contrastive training. Evaluation on existing benchmarks demonstrates that SAGA can achieve competitive performance with state-of-the-art methods. Moreover, SAGA achieves multi-granularity segmentation and accommodates various prompts, including points, scribbles, and 2D masks. Notably, SAGA can finish the 3D segmentation within milliseconds, achieving nearly 1000x acceleration compared to previous SOTA. The project page is at https://jumpat.github.io/SAGA.
• Abstract（参考訳）: 放射場におけるインタラクティブな3Dセグメンテーションは、3Dシーンの理解と操作において重要であるため、魅力的な課題である。 しかし、既存の手法は、細粒度で多粒度なセグメンテーションを達成するか、あるいはかなりの計算オーバーヘッドで競合し、リアルタイムの相互作用を阻害する。 本稿では,新しい3次元対話型セグメンテーション手法であるSegment Any 3D GAussians(SAGA)について紹介する。 sagaは、高度に設計されたコントラストトレーニングを通じて、セグメンテーション基盤モデルによって生成された複数粒度2次元セグメンテーション結果を3次元ガウス点特徴に効率的に組み込む。 既存のベンチマークによる評価は、SAGAが最先端の手法と競合する性能を達成できることを示している。 さらに、複数の粒度セグメンテーションを実現し、ポイント、スクリブル、および2dマスクを含む様々なプロンプトに対応している。 特に、SAGAはミリ秒で3Dセグメンテーションを完了でき、以前のSOTAと比べて1000倍近い加速を実現している。 プロジェクトページはhttps://jumpat.github.io/saga。

関連論文リスト

• Lifting by Gaussians: A Simple, Fast and Flexible Method for 3D Instance Segmentation [1.4307447044389736]
  3次元ガウス散乱放射場(3DGS)のオープンワールドインスタンスセグメンテーションのための新しいアプローチを提案する。 提案手法は,2次元のセマンティックノベルビュー合成と3次元のアセット抽出結果に対して,優れたセマンティックセマンティックセグメンテーションを実現する。
  論文  参考訳（メタデータ） (2025-01-31T21:30:59Z)
• DCSEG: Decoupled 3D Open-Set Segmentation using Gaussian Splatting [0.0]
  オープンセット3Dセグメンテーションは、下流ロボティクスと拡張現実/バーチャルリアリティーアプリケーションにとって大きな関心事である。 本稿では,新しい3次元表現とセマンティックセグメンテーション基盤モデルに対するモジュラリティと適応性を確保するために,分離された3次元セグメンテーションパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-12-14T21:26:44Z)
• Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
  FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。 我々は、FreeGSが複雑なデータ前処理作業の負荷を回避しつつ、最先端のメソッドと互換性があることを示す。
  論文  参考訳（メタデータ） (2024-11-29T08:52:32Z)
• Gradient-Driven 3D Segmentation and Affordance Transfer in Gaussian Splatting Using 2D Masks [6.647959476396794]
  3Dガウススプラッティングは強力な3Dシーン表現技術として登場し、高効率で細部を捉えている。 本稿では,2次元分割モデルを3次元ガウススプラットに拡張する投票方式を提案する。 このアプローチの根底にある頑健だが単純な数学的定式化は、多くの下流アプリケーションにとって非常に効果的なツールである。
  論文  参考訳（メタデータ） (2024-09-18T03:45:44Z)
• OpenGaussian: Towards Point-Level 3D Gaussian-based Open Vocabulary Understanding [54.981605111365056]
  本稿では,3次元点レベルの開語彙理解が可能な3次元ガウススティング(3DGS)に基づくOpenGaussianを紹介する。 我々の主な動機は、既存の3DGSベースのオープン語彙法が主に2Dピクセルレベルの解析に焦点を当てていることに起因している。
  論文  参考訳（メタデータ） (2024-06-04T07:42:33Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
  本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。 このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。 実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
  論文  参考訳（メタデータ） (2023-12-26T13:28:21Z)
• SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
  本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。 本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。 本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:58Z)
• Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
  ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
  論文  参考訳（メタデータ） (2023-12-01T17:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。