論文の概要: Segment Any 3D Gaussians

• arxiv url: http://arxiv.org/abs/2312.00860v1
• Date: Fri, 1 Dec 2023 17:15:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:29:50.954044
• Title: Segment Any 3D Gaussians
• Title（参考訳）: Segment Any 3D Gaussians
• Authors: Jiazhong Cen, Jiemin Fang, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian
• Abstract要約: 本稿では,新しい3次元対話型セグメンテーション手法であるSegment Any 3D GAussians (SAGA)を紹介する。 SAGAは2次元セグメンテーションの基礎モデルを3次元ガウススプラッティング(3DGS)とシームレスにブレンドする。 SAGAはミリ秒で3Dセグメンテーションを完了でき、以前のSOTAと比べて1000倍の加速を実現している。
• 参考スコア（独自算出の注目度）: 90.24631304563835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive 3D segmentation in radiance fields is an appealing task since its importance in 3D scene understanding and manipulation. However, existing methods face challenges in either achieving fine-grained, multi-granularity segmentation or contending with substantial computational overhead, inhibiting real-time interaction. In this paper, we introduce Segment Any 3D GAussians (SAGA), a novel 3D interactive segmentation approach that seamlessly blends a 2D segmentation foundation model with 3D Gaussian Splatting (3DGS), a recent breakthrough of radiance fields. SAGA efficiently embeds multi-granularity 2D segmentation results generated by the segmentation foundation model into 3D Gaussian point features through well-designed contrastive training. Evaluation on existing benchmarks demonstrates that SAGA can achieve competitive performance with state-of-the-art methods. Moreover, SAGA achieves multi-granularity segmentation and accommodates various prompts, including points, scribbles, and 2D masks. Notably, SAGA can finish the 3D segmentation within milliseconds, achieving nearly 1000x acceleration compared to previous SOTA. The project page is at https://jumpat.github.io/SAGA.
• Abstract（参考訳）: 放射場におけるインタラクティブな3Dセグメンテーションは、3Dシーンの理解と操作において重要であるため、魅力的な課題である。 しかし、既存の手法は、細粒度で多粒度なセグメンテーションを達成するか、あるいはかなりの計算オーバーヘッドで競合し、リアルタイムの相互作用を阻害する。 本稿では,新しい3次元対話型セグメンテーション手法であるSegment Any 3D GAussians(SAGA)について紹介する。 sagaは、高度に設計されたコントラストトレーニングを通じて、セグメンテーション基盤モデルによって生成された複数粒度2次元セグメンテーション結果を3次元ガウス点特徴に効率的に組み込む。 既存のベンチマークによる評価は、SAGAが最先端の手法と競合する性能を達成できることを示している。 さらに、複数の粒度セグメンテーションを実現し、ポイント、スクリブル、および2dマスクを含む様々なプロンプトに対応している。 特に、SAGAはミリ秒で3Dセグメンテーションを完了でき、以前のSOTAと比べて1000倍近い加速を実現している。 プロジェクトページはhttps://jumpat.github.io/saga。

関連論文リスト

• Gradient-Driven 3D Segmentation and Affordance Transfer in Gaussian Splatting Using 2D Masks [6.647959476396794]
  3Dガウススプラッティングは強力な3Dシーン表現技術として登場し、高効率で細部を捉えている。 本稿では,2次元分割モデルを3次元ガウススプラットに拡張する投票方式を提案する。 このアプローチの根底にある頑健だが単純な数学的定式化は、多くの下流アプリケーションにとって非常に効果的なツールである。
  論文  参考訳（メタデータ） (2024-09-18T03:45:44Z)
• FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally [66.28517576128381]
  本研究は,2次元マスクから3次元ガウススプラッティングを正確に分割することの課題に対処する。 3D-GSセグメンテーションのための単純かつグローバルな最適解法を提案する。 私たちのメソッドは30秒以内で完了します。
  論文  参考訳（メタデータ） (2024-09-12T17:58:13Z)
• 3x2: 3D Object Part Segmentation by 2D Semantic Correspondences [33.99493183183571]
  本稿では,いくつかのアノテーション付き3D形状やリッチアノテーション付き2Dデータセットを活用して3Dオブジェクト部分のセグメンテーションを実現することを提案する。 我々は,様々な粒度レベルのベンチマークでSOTA性能を実現する3-By-2という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T19:08:00Z)
• OpenGaussian: Towards Point-Level 3D Gaussian-based Open Vocabulary Understanding [54.981605111365056]
  本稿では,3次元点レベルの開語彙理解が可能な3次元ガウススティング(3DGS)に基づくOpenGaussianを紹介する。 我々の主な動機は、既存の3DGSベースのオープン語彙法が主に2Dピクセルレベルの解析に焦点を当てていることに起因している。
  論文  参考訳（メタデータ） (2024-06-04T07:42:33Z)
• Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting [27.974762304763694]
  セマンティック・ガウシアン(Semantic Gaussians)は,3次元ガウシアン・スプレイティングをベースとした,新しいオープン語彙シーン理解手法である。 既存の手法とは異なり、様々な2次元意味的特徴を3次元ガウスの新たな意味的構成要素にマッピングする多目的投影手法を設計する。 我々は,高速な推論のために,生の3Dガウスから意味成分を直接予測する3Dセマンティックネットワークを構築した。
  論文  参考訳（メタデータ） (2024-03-22T21:28:19Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
  本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。 このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。 実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
  論文  参考訳（メタデータ） (2023-12-26T13:28:21Z)
• SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
  本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。 本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。 本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:58Z)
• Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
  ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
  論文  参考訳（メタデータ） (2023-12-01T17:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。