論文の概要: GeoSAM2: Unleashing the Power of SAM2 for 3D Part Segmentation

• arxiv url: http://arxiv.org/abs/2508.14036v2
• Date: Wed, 27 Aug 2025 17:10:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 12:43:57.457845
• Title: GeoSAM2: Unleashing the Power of SAM2 for 3D Part Segmentation
• Title（参考訳）: GeoSAM2: 3DパーツセグメンテーションのためのSAM2のパワーを開放する
• Authors: Ken Deng, Yunhan Yang, Jingxiang Sun, Xihui Liu, Yebin Liu, Ding Liang, Yan-Pei Cao,
• Abstract要約: GeoSAM2は3次元部分分割のためのプロンプト制御可能なフレームワークである。 テクスチャのないオブジェクトが与えられた場合、事前に定義された視点から正規写像とポイントマップを描画する。 部品の選択をガイドするシンプルな2Dプロンプト(クリックやボックス)を受け入れます。 予測されたマスクはオブジェクトにバックプロジェクションされ、ビューに集約される。
• 参考スコア（独自算出の注目度）: 81.0871900167463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce GeoSAM2, a prompt-controllable framework for 3D part segmentation that casts the task as multi-view 2D mask prediction. Given a textureless object, we render normal and point maps from predefined viewpoints and accept simple 2D prompts - clicks or boxes - to guide part selection. These prompts are processed by a shared SAM2 backbone augmented with LoRA and residual geometry fusion, enabling view-specific reasoning while preserving pretrained priors. The predicted masks are back-projected to the object and aggregated across views. Our method enables fine-grained, part-specific control without requiring text prompts, per-shape optimization, or full 3D labels. In contrast to global clustering or scale-based methods, prompts are explicit, spatially grounded, and interpretable. We achieve state-of-the-art class-agnostic performance on PartObjaverse-Tiny and PartNetE, outperforming both slow optimization-based pipelines and fast but coarse feedforward approaches. Our results highlight a new paradigm: aligning the paradigm of 3D segmentation with SAM2, leveraging interactive 2D inputs to unlock controllability and precision in object-level part understanding.
• Abstract（参考訳）: GeoSAM2は3次元部分分割のためのプロンプト制御可能なフレームワークで,タスクを多視点2次元マスク予測として利用する。 テクスチャのないオブジェクトが与えられた場合、事前に定義された視点から通常のマップとポイントマップをレンダリングし、単純な2Dプロンプト(クリックやボックス)を受け入れて部分選択をガイドします。 これらのプロンプトは、LoRAと残留幾何融合で強化された共有SAM2バックボーンによって処理され、事前訓練された前兆を保存しながら、ビュー固有の推論を可能にする。 予測されたマスクはオブジェクトにバックプロジェクションされ、ビューに集約される。 本手法では, テキストプロンプト, 形状ごとの最適化, フル3Dラベルを必要とせず, きめ細かい制御が可能となる。 グローバルクラスタリングやスケールベースの手法とは対照的に、プロンプトは明示的で、空間的に接地され、解釈可能である。 我々は、高速だが粗いフィードフォワードアプローチと遅い最適化ベースのパイプラインの両方を性能良く、PartObjaverse-TinyとPartNetEで最先端のクラス非依存のパフォーマンスを達成する。 本研究は,3次元セグメンテーションのパラダイムをSAM2と整合させ,対話型2次元インプットを利用してオブジェクトレベルの部分理解における制御性と精度を解放する手法である。

関連論文リスト

• Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
  Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。 本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。 我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
  論文  参考訳（メタデータ） (2025-12-01T15:15:16Z)
• PartSAM: A Scalable Promptable Part Segmentation Model Trained on Native 3D Data [47.60227259482637]
  大規模3次元データに基づいてトレーニングされた最初のプロンプト可能なパートセグメンテーションモデルであるPartSAMを提案する。 PartSAMはエンコーダ・デコーダアーキテクチャを採用しており、三面体をベースとしたデュアルブランチ・エンコーダが空間的に構造化されたトークンを生成する。 大規模監視を実現するために,500万以上の3次元形状部品対をキュレートしたループ型アノテーションパイプラインを導入する。
  論文  参考訳（メタデータ） (2025-09-26T06:52:35Z)
• 3D Part Segmentation via Geometric Aggregation of 2D Visual Features [57.20161517451834]
  監督された3D部分分割モデルは、固定されたオブジェクトと部品のセットに合わせて調整されており、それらの転送可能性は、オープンセットの現実世界のシナリオに制限される。 近年、視覚言語モデル(VLM)を多視点レンダリングとテキストプロンプトを用いてオブジェクト部品の識別に活用する研究が進められている。 これらの制約に対処するために,視覚概念から抽出した意味論と3次元幾何学をブレンドし,対象部品を効果的に同定するCOPSを提案する。
  論文  参考訳（メタデータ） (2024-12-05T15:27:58Z)
• Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
  FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。 FreeGSは複雑なデータ前処理のワークロードを避けながら、最先端のメソッドと互換性がある。
  論文  参考訳（メタデータ） (2024-11-29T08:52:32Z)
• DetailGen3D: Generative 3D Geometry Enhancement via Data-Dependent Flow [44.72037991063735]
  DetailGen3Dは、生成された3D形状を強化するために特別に設計されたジェネレーティブなアプローチである。 我々の重要な洞察は、潜在空間におけるデータ依存フローを通して、粗大から細小への変換を直接モデル化することである。 改質時に正確な空間対応を確保するためのトークンマッチング戦略を導入する。
  論文  参考訳（メタデータ） (2024-11-25T17:08:17Z)
• Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking [6.599971425078935]
  既存の3Dインスタンスセグメンテーションメソッドは、オーバーセグメンテーションの問題に頻繁に遭遇し、下流タスクを複雑にする冗長で不正確な3D提案につながります。 この課題は、フレーム全体に密集した2Dマスクを点雲に上げ、直接の監督なしに3D候補の提案を形成する、教師なしのマージンアプローチから生じる。 本研究では,2次元マスクセグメンテーション・トラッキング基盤モデル(SAM-2)を用いて,映像フレーム間の一貫したオブジェクトマスクを確保する3次元マスク追跡モジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-25T08:26:31Z)
• SA3DIP: Segment Any 3D Instance with Potential 3D Priors [41.907914881608995]
  本稿では,SA3DIPを提案する。SA3DIPは,任意の3Dインスタンスを,潜在的3Dプライオリティを利用してセグメント化するための新しい手法である。 具体的には,幾何学的およびテクスチャ的先行性の両方に基づいて,相補的な3Dプリミティブを生成する。 一方,3次元検出器を用いて3次元空間からの補足制約を導入し,さらなるマージプロセスの導出を行う。
  論文  参考訳（メタデータ） (2024-11-06T10:39:00Z)
• LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
  参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。 本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。 ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-17T07:47:41Z)
• NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
  3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。 既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。 本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T04:09:34Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• 3D Guided Weakly Supervised Semantic Segmentation [27.269847900950943]
  本稿では,スパース境界ボックスラベルを利用可能な3次元情報に組み込むことにより,弱教師付き2次元セマンティックセマンティックセマンティックセマンティクスモデルを提案する。 手動で2D-3Dセマンティックス(2D-3D-S)データセットのサブセットにバウンディングボックスをラベル付けし、2D-3D推論モジュールを導入し、正確なピクセルワイドセグメント提案マスクを生成する。
  論文  参考訳（メタデータ） (2020-12-01T03:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。