論文の概要: The SAM2-to-SAM3 Gap in the Segment Anything Model Family: Why Prompt-Based Expertise Fails in Concept-Driven Image Segmentation

• arxiv url: http://arxiv.org/abs/2512.06032v1
• Date: Thu, 04 Dec 2025 16:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.158264
• Title: The SAM2-to-SAM3 Gap in the Segment Anything Model Family: Why Prompt-Based Expertise Fails in Concept-Driven Image Segmentation
• Title（参考訳）: セグメンテーションモデルファミリーにおけるSAM2-to-SAM3ギャップ:なぜプロンプトに基づく画像セグメンテーションが失敗するのか
• Authors: Ranjan Sapkota, Konstantinos I. Roumeliotis, Manoj Karkee,
• Abstract要約: 本稿では,最新のセグメンテーションモデルであるSAM2とSAM3の基本的な不連続性について検討する。 SAM2のプロンプトベースセグメンテーションの専門知識がSAM3のマルチモーダルな概念駆動パラダイムに移行しない理由を説明する。
• 参考スコア（独自算出の注目度）: 3.7414278978078204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the fundamental discontinuity between the latest two Segment Anything Models: SAM2 and SAM3. We explain why the expertise in prompt-based segmentation of SAM2 does not transfer to the multimodal concept-driven paradigm of SAM3. SAM2 operates through spatial prompts points, boxes, and masks yielding purely geometric and temporal segmentation. In contrast, SAM3 introduces a unified vision-language architecture capable of open-vocabulary reasoning, semantic grounding, contrastive alignment, and exemplar-based concept understanding. We structure this analysis through five core components: (1) a Conceptual Break Between Prompt-Based and Concept-Based Segmentation, contrasting spatial prompt semantics of SAM2 with multimodal fusion and text-conditioned mask generation of SAM3; (2) Architectural Divergence, detailing pure vision-temporal design of SAM2 versus integration of vision-language encoders, geometry and exemplar encoders, fusion modules, DETR-style decoders, object queries, and ambiguity-handling via Mixture-of-Experts in SAM3; (3) Dataset and Annotation Differences, contrasting SA-V video masks with multimodal concept-annotated corpora of SAM3; (4) Training and Hyperparameter Distinctions, showing why SAM2 optimization knowledge does not apply to SAM3; and (5) Evaluation, Metrics, and Failure Modes, outlining the transition from geometric IoU metrics to semantic, open-vocabulary evaluation. Together, these analyses establish SAM3 as a new class of segmentation foundation model and chart future directions for the emerging concept-driven segmentation era.
• Abstract（参考訳）: 本稿では,最新のセグメンテーションモデルであるSAM2とSAM3の基本的な不連続性について検討する。 SAM2のプロンプトベースセグメンテーションの専門知識がSAM3のマルチモーダルな概念駆動パラダイムに移行しない理由を説明する。 SAM2は、空間的プロンプトポイント、ボックス、マスクを通じて、純粋に幾何学的および時間的セグメンテーションを生成する。 これとは対照的にSAM3では、オープン語彙推論、セマンティックグラウンドディング、コントラストアライメント、そして模範的な概念理解が可能な統一視覚言語アーキテクチャを導入している。 1) Prompt-Based と Concept-Based Segmentation の空間的プロンプトセマンティクスと SAM3 のマルチモーダルフュージョンとテキストコンディショニングマスク生成との対比による SAM2 の空間的プロンプトセマンティクス,(2) SAM2 の純粋視覚時空間設計と視覚言語エンコーダ,幾何学および模範エンコーダ,融合モジュール,DETR スタイルデコーダ,オブジェクトクエリ,曖昧性ハンドリングによる SAM3 の混合処理,(3) データセットとアノテーションの差異, SA-V ビデオマスクと SAM3 のマルチモーダルな概念付きコーパスとの対比,(4) ハイパーパラメータの抽出, SAM2 のパラメータの最適化, (3) パラメータの最適化, パラメータの最適化, (3) パラメータの最適化, パラメータの最適化, パラメータのアウトフォーマティクスの最適化, (3) セマンティクス評価, セマンティクス評価, セマンティクス, セマンティクス評価, セマンティクス, セマンティクス, セマンティクス, セマンティクス, セマンティクス, セマンティクス, セマンティクス, セマンティクス, セマンティクス, セマンティクス, メティクス, メティクス, などの5つのコンポーネントによる分析を行った。 これらの分析はSAM3を新たなセグメンテーション基盤モデルとして確立し、新たな概念駆動セグメンテーション時代の方向性を示す。

関連論文リスト

• SAM3-I: Segment Anything with Instructions [86.92593395772029]
  SAM3-Iは概念レベルの理解と命令レベルの推論をSAMファミリー内で統合する拡張フレームワークである。 我々は,概念,単純かつ複雑なレベルにまたがる構造的命令分類を設計し,多様な命令マスク対を持つデータセットを構築するためのスケーラブルなデータエンジンを開発する。
  論文  参考訳（メタデータ） (2025-12-04T09:00:25Z)
• Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
  Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。 本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。 我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
  論文  参考訳（メタデータ） (2025-12-01T15:15:16Z)
• SAM 3: Segment Anything with Concepts [93.97262932669081]
  概念的プロンプトに基づいて画像やビデオ中のオブジェクトを検出し,セグメントを生成し,追跡する統合モデルであるSegment Anything Model(SAM)3を提案する。 PCSはそのようなプロンプトを受け取り、一致するすべてのオブジェクトインスタンスに対してセグメンテーションマスクとIDを返す。 我々のモデルは、画像レベルの検出器と、単一のバックボーンを共有するメモリベースのビデオトラッカーで構成される。
  論文  参考訳（メタデータ） (2025-11-20T18:59:56Z)
• MemorySAM: Memorize Modalities and Semantics with Segment Anything Model 2 for Multi-modal Semantic Segmentation [22.482211353379927]
  大型ビジョンモデルであるAnythingCube Model 2 (SAM2)は、画像とビデオの両方でゼロショットセグメンテーション性能が強い。 ビデオにおけるクロスフレーム相関に着想を得て,同一シーンを表すフレームの列としてマルチモーダルデータを扱うことを提案する。 私たちのキーとなるアイデアは、モダリティに依存しない情報を「記憶」し、ターゲットのシーンに関連する意味を「記憶」することです。
  論文  参考訳（メタデータ） (2025-03-09T17:33:15Z)
• Inspiring the Next Generation of Segment Anything Models: Comprehensively Evaluate SAM and SAM 2 with Diverse Prompts Towards Context-Dependent Concepts under Different Scenes [97.8612925017964]
  何十億ものイメージに基づいてトレーニングされた大規模な基礎モデル - マスクペアは、シーン、オブジェクト、コンテキストの幅広い多様性をカバーする。 SAM2とそのアップグレード版SAM2はコンピュータビジョンの複数の分野に大きな影響を与えた。 自然, 医療, 産業のシーンにおいて, 11枚のCDのコンセプトを2次元, 3次元画像, ビデオで徹底的に評価する。
  論文  参考訳（メタデータ） (2024-12-02T08:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。