論文の概要: MV3DIS: Multi-View Mask Matching via 3D Guides for Zero-Shot 3D Instance Segmentation
- arxiv url: http://arxiv.org/abs/2604.08916v1
- Date: Fri, 10 Apr 2026 03:26:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-13 17:57:53.662955
- Title: MV3DIS: Multi-View Mask Matching via 3D Guides for Zero-Shot 3D Instance Segmentation
- Title（参考訳）: MV3DIS: ゼロショット3Dインスタンスセグメンテーションのための3Dガイドによるマルチビューマスクマッチング
- Abstract要約: 従来の3Dインスタンスセグメンテーション手法は、教師あり訓練のための労働集約的な3Dアノテーションに依存している。
最近のアプローチでは、Segment Anything Model (SAM) からの多視点2Dマスクを活用し、3次元幾何学的プリミティブの融合を導く。
MV3DISは、ゼロショット3Dインスタンスセグメンテーションのための粗大なフレームワークであり、3Dプリエンスを明示的に組み込む。
- 参考スコア（独自算出の注目度）: 12.513474673735963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional 3D instance segmentation methods rely on labor-intensive 3D annotations for supervised training, which limits their scalability and generalization to novel objects. Recent approaches leverage multi-view 2D masks from the Segment Anything Model (SAM) to guide the merging of 3D geometric primitives, thereby enabling zero-shot 3D instance segmentation. However, these methods typically process each frame independently and rely solely on 2D metrics, such as SAM prediction scores, to produce segmentation maps. This design overlooks multi-view correlations and inherent 3D priors, leading to inconsistent 2D masks across views and ultimately fragmented 3D segmentation. In this paper, we propose MV3DIS, a coarse-to-fine framework for zero-shot 3D instance segmentation that explicitly incorporates 3D priors. Specifically, we introduce a 3D-guided mask matching strategy that uses coarse 3D segments as a common reference to match 2D masks across views and consolidates multi-view mask consistency via 3D coverage distributions. Guided by these view-consistent 2D masks, the coarse 3D segments are further refined into precise 3D instances. Additionally, we introduce a depth consistency weighting scheme that quantifies projection reliability to suppress ambiguities from inter-object occlusions, thereby improving the robustness of 3D-to-2D correspondence. Extensive experiments on the ScanNetV2, ScanNet200, ScanNet++, Replica, and Matterport3D datasets demonstrate the effectiveness of MV3DIS, which achieves superior performance over previous methods
- Abstract（参考訳）: 従来の3Dインスタンスのセグメンテーション手法は、新しいオブジェクトへのスケーラビリティと一般化を制限する、教師付きトレーニングのための労働集約的な3Dアノテーションに依存している。
最近のアプローチでは、Segment Anything Model (SAM) のマルチビュー2Dマスクを活用して、3次元幾何学的プリミティブの融合を誘導し、ゼロショットの3Dインスタンスセグメンテーションを可能にする。
しかし、これらの手法は通常、各フレームを独立に処理し、SAM予測スコアのような2次元メトリクスにのみ依存してセグメンテーションマップを生成する。
この設計は、多視点相関と固有の3D先行性を見落とし、ビュー間の矛盾した2Dマスクと最終的に断片化された3Dセグメンテーションをもたらす。
本稿では,ゼロショット3Dインスタンスセグメンテーションのための粗粒度フレームワークであるMV3DISを提案する。
具体的には,視界を横断する2次元マスクの共通参照として粗い3次元セグメントを用いた3次元誘導マスクマッチング戦略を導入し,多視点マスクの一貫性を3次元カバレッジ分布を介して強化する。
これらのビュー一貫性のある2Dマスクによってガイドされ、粗い3Dセグメントはさらに精密な3Dインスタンスに洗練される。
さらに,投影信頼性を定量化し,物体間介在物とのあいまいさを抑えるため,3次元対2次元対応の堅牢性を向上させるための奥行き整合重み付け方式を提案する。
ScanNetV2、ScanNet200、ScanNet++、Replica、Matterport3Dデータセットの大規模な実験により、MV3DISの有効性が実証された。
関連論文リスト
- CDIS: Cross-Dimensional Class-Agnostic 3D Instance Segmentation via 2D Mask Tracking and 3D-2D Projection Merging [24.37584731810519]
クラス非依存の3Dインスタンスセグメンテーションは、未知の環境で動作しているロボットシステムにとって重要である。
フレーム間の2Dインスタンスマスクを明示的に追跡し,それらを3Dスーパーポイントに関連付けるゼロショットフレームワークであるクロス次元クラス非依存型3Dインスタンス(CDIS)を紹介した。
このクロス次元推論は、時間的に安定な2Dトラックと空間的に整合した3D領域をリンクし、3D固有のトレーニングなしでグローバルに一貫した3Dインスタンスラベルを生成する。
論文 参考訳（メタデータ） (2026-07-20T10:09:12Z) - MV-SAM: Multi-view Promptable Segmentation using Pointmap Guidance [79.57732829495843]
本稿では,ポイントマップを用いた3次元一貫性を実現する多視点セグメンテーションフレームワークMV-SAMを紹介する。
MV-SAMは画像を持ち上げて3D空間にプロンプトし、明示的な3Dネットワークや注釈付き3Dデータを必要としない。
論文 参考訳（メタデータ） (2026-01-25T15:00:37Z) - Integrating SAM Supervision for 3D Weakly Supervised Point Cloud Segmentation [66.65719382619538]
3Dセマンティックセグメンテーションの現在の手法では、大きな、不規則な、秩序のない3Dポイントクラウドデータの注釈付けの難しさに対処するため、限定アノテーション付きトレーニングモデルが提案されている。
本稿では,2次元基礎モデルから生成したセグメンテーションマスクを組み込んだ,疎可な3次元アノテーションの有用性を最大化する手法を提案する。
論文 参考訳（メタデータ） (2025-08-27T14:13:01Z) - DCSEG: Decoupled 3D Open-Set Segmentation using Gaussian Splatting [0.0]
本稿では,新しい3次元表現へのモジュラリティと適応性を確保するために,分離した3次元分割パイプラインを提案する。
我々は、合成および実世界の屋内データセットを評価し、同等のNeRFパイプラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-12-14T21:26:44Z) - Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking [6.599971425078935]
既存の3Dインスタンスセグメンテーションメソッドは、オーバーセグメンテーションの問題に頻繁に遭遇し、下流タスクを複雑にする冗長で不正確な3D提案につながります。
この課題は、フレーム全体に密集した2Dマスクを点雲に上げ、直接の監督なしに3D候補の提案を形成する、教師なしのマージンアプローチから生じる。
本研究では,2次元マスクセグメンテーション・トラッキング基盤モデル(SAM-2)を用いて,映像フレーム間の一貫したオブジェクトマスクを確保する3次元マスク追跡モジュールを提案する。
論文 参考訳（メタデータ） (2024-11-25T08:26:31Z) - EmbodiedSAM: Online Segment Any 3D Thing in Real Time [61.2321497708998]
身体的なタスクは、エージェントが探索と同時に3Dシーンを完全に理解する必要がある。
オンライン、リアルタイム、微粒化、高度に一般化された3D知覚モデルは、必死に必要である。
論文 参考訳（メタデータ） (2024-08-21T17:57:06Z) - MaskClustering: View Consensus based Mask Graph Clustering for Open-Vocabulary 3D Instance Segmentation [11.123421412837336]
オープン語彙の3Dインスタンスセグメンテーションは、事前に定義されたカテゴリなしで3Dインスタンスをセグメンテーションできる能力のために最先端である。
最近の研究はまず2Dモデルを通して2Dオープンボキャブラリマスクを生成し、2つの隣接するフレーム間で計算されたメトリクスに基づいてそれらを3Dインスタンスにマージする。
本稿では,多視点観測の利用率を高めるために,新しい基準であるビューコンセンサス率を提案する。
論文 参考訳（メタデータ） (2024-01-15T14:56:15Z) - SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2023-12-17T09:05:47Z) - Segment Anything in 3D with Radiance Fields [83.14130158502493]
本稿では,Segment Anything Model (SAM) を一般化して3次元オブジェクトをセグメント化する。
提案手法をSA3D, 略してSegment Anything in 3Dと呼ぶ。
実験では,SA3Dが様々なシーンに適応し,数秒で3Dセグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-04-24T17:57:15Z) - Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud
Pre-training [65.75399500494343]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
論文 参考訳（メタデータ） (2023-02-27T17:56:18Z) - Virtual Multi-view Fusion for 3D Semantic Segmentation [11.259694096475766]
仮想ビューにより,従来のマルチビュー手法よりも2次元セマンティックセグメンテーションネットワークを効果的に学習できることを示す。
画素ごとの2次元予測を3次元面に集約すると,仮想多視点融合法により,より優れた3次元セマンティックセマンティックセマンティクス結果が得られる。
論文 参考訳（メタデータ） (2020-07-26T14:46:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。