論文の概要: SAM-V: Geometry-Aware Segment Anything for Multi-View Instance Segmentation

• arxiv url: http://arxiv.org/abs/2609.25490v1
• Date: Mon, 21 Sep 2026 23:39:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.143574
• Title: SAM-V: Geometry-Aware Segment Anything for Multi-View Instance Segmentation
• Title（参考訳）: SAM-V:マルチビューインスタンスセグメンテーションのための幾何認識セグメンテーション
• Abstract要約: 一貫性のある多視点オブジェクトセグメンテーションは3次元知覚とロボット工学にとって重要である。 既存のメソッドは通常、ポイントクラウド上で3Dインスタンスセグメンテーションを実行するか、オフラインの2Dマスクマッチングパイプラインに依存する。 我々は,強い2Dと3Dの先行を併用するSAM-V(Geometry-Aware Segment Anything for Multi-View Instance)を提案する。
• 参考スコア（独自算出の注目度）: 31.285370654308355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Consistent multi-view object segmentation is critical for 3D perception and robotics, yet remains challenging under severe viewpoint and occlusion changes. Existing methods typically perform 3D instance segmentation on point clouds or rely on offline 2D mask-matching pipelines. However, 3D instance segmentation is limited by scarce 3D annotations, while offline 2D matching suffers from object identity ambiguity across frames. To leverage strong 2D and 3D priors jointly, we propose SAM-V (Geometry-Aware Segment Anything for Multi-View Instance Segmentation). Instead of combining the two priors through post-hoc matching, SAM-V directly integrates features from a feed-forward geometry model (VGGT) into a 2D segmentation foundation model (SAM), trained end-to-end for cross-view instance prediction. SAM-V introduces a prompt-fusion mechanism that enriches sparse SAM prompt tokens with view-specific camera tokens and local VGGT features, making the prompt representation both view-aware and spatially grounded, together with a mask decoder that attends to dense 2D and 3D features. By conditioning the mask decoding directly on multi-view geometry, SAM-V produces consistent multi-view segmentation of a prompted object in a single forward pass without offline mask matching or explicit 3D reconstruction. On the IGGT 3D tracking benchmark, where consistent instance identity across frames directly determines performance, SAM-V improves overall IoU by 5 points and frame-level recall by 12 points on the ScanNet++ split over the state-of-the-art multi-view instance segmentation baseline and leads on all metrics in the zero-shot ScanNet split. Our code and pretrained models are available at https://github.com/gong208/SAM-V.git.
• Abstract（参考訳）: 一貫性のある多視点オブジェクトセグメンテーションは3次元知覚とロボット工学にとって重要であるが、厳しい視点と排他的変化の下では困難である。 既存のメソッドは通常、ポイントクラウド上で3Dインスタンスセグメンテーションを実行するか、オフラインの2Dマスクマッチングパイプラインに依存する。 しかし、3Dインスタンスのセグメンテーションは少ない3Dアノテーションによって制限され、オフラインの2Dマッチングはフレーム間のオブジェクトアイデンティティの曖昧さに悩まされる。 強い2Dと3Dの先行を併用するために、SAM-V(Geometry-Aware Segment Anything for Multi-View Instance Segmentation)を提案する。 SAM-Vは、フォワード幾何モデル (VGGT) から2次元セグメンテーション基礎モデル (SAM) へ直接統合する。 SAM-Vは、Sparse SAMプロンプトをビュー固有のカメラトークンとローカルVGGT機能で強化するプロンプト融合機構を導入し、高密度な2Dおよび3D特徴に対応するマスクデコーダとともに、ビュー認識と空間的接地の両方をプロンプト表現する。 SAM-Vは、マスクデコーディングを直接マルチビュー幾何学に条件付けすることにより、オフラインマスクマッチングや明示的な3D再構成なしに、単一のフォワードパスでプロンプトオブジェクトの一貫性のあるマルチビューセグメンテーションを生成する。 IGGTの3Dトラッキングベンチマークでは、フレーム間の一貫性のあるインスタンスアイデンティティがパフォーマンスを直接決定する。SAM-Vは、全体的なIoUを5ポイント改善し、ScanNet++の最新のマルチビューインスタンスセグメンテーションベースラインで12ポイントリコールし、ゼロショットのScanNetのスプリットにおけるすべてのメトリクスを導く。 私たちのコードと事前トレーニングされたモデルはhttps://github.com/gong208/SAM-V.git.comで公開されています。

関連論文リスト

• MV3DIS: Multi-View Mask Matching via 3D Guides for Zero-Shot 3D Instance Segmentation [12.513474673735963]
  従来の3Dインスタンスセグメンテーション手法は、教師あり訓練のための労働集約的な3Dアノテーションに依存している。 最近のアプローチでは、Segment Anything Model (SAM) からの多視点2Dマスクを活用し、3次元幾何学的プリミティブの融合を導く。 MV3DISは、ゼロショット3Dインスタンスセグメンテーションのための粗大なフレームワークであり、3Dプリエンスを明示的に組み込む。
  論文  参考訳（メタデータ） (2026-04-10T03:26:52Z)
• MV-SAM: Multi-view Promptable Segmentation using Pointmap Guidance [79.57732829495843]
  本稿では,ポイントマップを用いた3次元一貫性を実現する多視点セグメンテーションフレームワークMV-SAMを紹介する。 MV-SAMは画像を持ち上げて3D空間にプロンプトし、明示的な3Dネットワークや注釈付き3Dデータを必要としない。
  論文  参考訳（メタデータ） (2026-01-25T15:00:37Z)
• Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
  Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。 本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。 我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
  論文  参考訳（メタデータ） (2025-12-01T15:15:16Z)
• PartSAM: A Scalable Promptable Part Segmentation Model Trained on Native 3D Data [47.60227259482637]
  大規模3次元データに基づいてトレーニングされた最初のプロンプト可能なパートセグメンテーションモデルであるPartSAMを提案する。 PartSAMはエンコーダ・デコーダアーキテクチャを採用しており、三面体をベースとしたデュアルブランチ・エンコーダが空間的に構造化されたトークンを生成する。 大規模監視を実現するために,500万以上の3次元形状部品対をキュレートしたループ型アノテーションパイプラインを導入する。
  論文  参考訳（メタデータ） (2025-09-26T06:52:35Z)
• GeoSAM2: Unleashing the Power of SAM2 for 3D Part Segmentation [81.0871900167463]
  GeoSAM2は3次元部分分割のためのプロンプト制御可能なフレームワークである。 テクスチャのないオブジェクトが与えられた場合、事前に定義された視点から正規写像とポイントマップを描画する。 部品の選択をガイドするシンプルな2Dプロンプト(クリックやボックス)を受け入れます。 予測されたマスクはオブジェクトにバックプロジェクションされ、ビューに集約される。
  論文  参考訳（メタデータ） (2025-08-19T17:58:51Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• Segment Anything in 3D with Radiance Fields [83.14130158502493]
  本稿では,Segment Anything Model (SAM) を一般化して3次元オブジェクトをセグメント化する。 提案手法をSA3D, 略してSegment Anything in 3Dと呼ぶ。 実験では,SA3Dが様々なシーンに適応し,数秒で3Dセグメンテーションを実現することを示す。
  論文  参考訳（メタデータ） (2023-04-24T17:57:15Z)
• Mask3D: Mask Transformer for 3D Semantic Instance Segmentation [89.41640045953378]
  一般的なTransformerビルディングブロックを利用して、3Dポイントクラウドからインスタンスマスクを直接予測できることが示されています。 Transformerデコーダを使用して、インスタンスクエリは、複数のスケールでクラウド機能をポイントする反復的な参加者によって学習される。 Mask3Dは、新しい最先端ScanNetテスト(+6.2 mAP)、S3DIS 6-fold(+10.1 mAP)、LS3D(+11.2 mAP)、ScanNet200テスト(+12.4 mAP)を設定する。
  論文  参考訳（メタデータ） (2022-10-06T17:55:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。