論文の概要: Segment Any 3D Gaussians

• arxiv url: http://arxiv.org/abs/2312.00860v2
• Date: Mon, 27 May 2024 10:24:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 08:25:17.023291
• Title: Segment Any 3D Gaussians
• Title（参考訳）: Segment Any 3D Gaussians
• Authors: Jiazhong Cen, Jiemin Fang, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian,
• Abstract要約: 本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。 入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。 我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
• 参考スコア（独自算出の注目度）: 85.93694310363325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents SAGA (Segment Any 3D GAussians), a highly efficient 3D promptable segmentation method based on 3D Gaussian Splatting (3D-GS). Given 2D visual prompts as input, SAGA can segment the corresponding 3D target represented by 3D Gaussians within 4 ms. This is achieved by attaching an scale-gated affinity feature to each 3D Gaussian to endow it a new property towards multi-granularity segmentation. Specifically, a scale-aware contrastive training strategy is proposed for the scale-gated affinity feature learning. It 1) distills the segmentation capability of the Segment Anything Model (SAM) from 2D masks into the affinity features and 2) employs a soft scale gate mechanism to deal with multi-granularity ambiguity in 3D segmentation through adjusting the magnitude of each feature channel according to a specified 3D physical scale. Evaluations demonstrate that SAGA achieves real-time multi-granularity segmentation with quality comparable to state-of-the-art methods. As one of the first methods addressing promptable segmentation in 3D-GS, the simplicity and effectiveness of SAGA pave the way for future advancements in this field. Our code will be released.
• Abstract（参考訳）: 本稿では,高効率な3次元ガウス分割法であるSAGA(Segment Any 3D GAussians, Segment Any 3D GAussians)を提案する。 入力として2次元視覚的プロンプトが与えられたとき、SAGAは対応する3次元ガウスのターゲットを4ms以内で分割することができる。 具体的には,尺度付き親和性特徴学習において,尺度対応のコントラスト学習戦略を提案する。 それ 1)2次元マスクからSegment Anything Model(SAM)のセグメンテーション能力を蒸留し、親和性特徴とする。 2) ソフトスケールゲート機構を用いて, 特定3次元物理スケールに応じて各特徴チャネルの大きさを調整し, 多粒度曖昧度を3次元セグメント化する。 評価の結果、SAGAは最先端の手法に匹敵する品質でリアルタイムな多粒度セグメンテーションを実現することが示された。 3D-GSの高速セグメンテーションに対処する最初の手法の1つとして、SAGAの単純さと有効性がこの分野での今後の進歩の道を開く。 私たちのコードは解放されます。

関連論文リスト

• Gradient-Driven 3D Segmentation and Affordance Transfer in Gaussian Splatting Using 2D Masks [6.647959476396794]
  3Dガウススプラッティングは強力な3Dシーン表現技術として登場し、高効率で細部を捉えている。 本稿では,2次元分割モデルを3次元ガウススプラットに拡張する投票方式を提案する。 このアプローチの根底にある頑健だが単純な数学的定式化は、多くの下流アプリケーションにとって非常に効果的なツールである。
  論文  参考訳（メタデータ） (2024-09-18T03:45:44Z)
• FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally [66.28517576128381]
  本研究は,2次元マスクから3次元ガウススプラッティングを正確に分割することの課題に対処する。 3D-GSセグメンテーションのための単純かつグローバルな最適解法を提案する。 私たちのメソッドは30秒以内で完了します。
  論文  参考訳（メタデータ） (2024-09-12T17:58:13Z)
• 3x2: 3D Object Part Segmentation by 2D Semantic Correspondences [33.99493183183571]
  本稿では,いくつかのアノテーション付き3D形状やリッチアノテーション付き2Dデータセットを活用して3Dオブジェクト部分のセグメンテーションを実現することを提案する。 我々は,様々な粒度レベルのベンチマークでSOTA性能を実現する3-By-2という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T19:08:00Z)
• OpenGaussian: Towards Point-Level 3D Gaussian-based Open Vocabulary Understanding [54.981605111365056]
  本稿では,3次元点レベルの開語彙理解が可能な3次元ガウススティング(3DGS)に基づくOpenGaussianを紹介する。 我々の主な動機は、既存の3DGSベースのオープン語彙法が主に2Dピクセルレベルの解析に焦点を当てていることに起因している。
  論文  参考訳（メタデータ） (2024-06-04T07:42:33Z)
• Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting [27.974762304763694]
  セマンティック・ガウシアン(Semantic Gaussians)は,3次元ガウシアン・スプレイティングをベースとした,新しいオープン語彙シーン理解手法である。 既存の手法とは異なり、様々な2次元意味的特徴を3次元ガウスの新たな意味的構成要素にマッピングする多目的投影手法を設計する。 我々は,高速な推論のために,生の3Dガウスから意味成分を直接予測する3Dセマンティックネットワークを構築した。
  論文  参考訳（メタデータ） (2024-03-22T21:28:19Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
  本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。 このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。 実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
  論文  参考訳（メタデータ） (2023-12-26T13:28:21Z)
• SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
  本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。 本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。 本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:58Z)
• Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
  ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
  論文  参考訳（メタデータ） (2023-12-01T17:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。