論文の概要: TAG: Calibrating SAM3 for Universal Image Segmentation without Dense Supervision
- arxiv url: http://arxiv.org/abs/2610.14651v1
- Date: Sat, 10 Oct 2026 07:03:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 12:31:12.037256
- Title: TAG: Calibrating SAM3 for Universal Image Segmentation without Dense Supervision
- Title（参考訳）: TAG:Dense SupervisionのないUniversal Image SegmentationのためのSAM3の校正
- Abstract要約: textitunderlineText underlineAnchor re-underlineGrounding (TAG)は、高密度アノテーションなしでSAM3の概念認識をターゲットドメインで修正する、シンプルで効果的なフレームワークである。
TAGは様々なシナリオで素晴らしいパフォーマンスを実現しており、特にいくつかのメトリクスで主要なマスク管理手法を超越している。
- 参考スコア（独自算出の注目度）: 12.181868577270514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent Segment Anything Model 3 (SAM3) extends powerful promptable segmentation from spatial cues to concepts, raising the prospect of a single foundation model for universal image segmentation. However, this promise often fails to translate into reliable performance on downstream segmentation tasks. In this work, we empirically identify concept recognition, rather than mask quality, as the primary bottleneck: SAM3 accurately delineates the objects it recognizes yet struggles to robustly determine which concepts are present. Driven by this, we present \textit{\underline{T}ext \underline{A}nchor re-\underline{G}rounding (\TAG{})}, a simple yet effective framework that rectifies the concept recognition of SAM3 on the target domain without dense annotations. Specifically, \TAG{} introduces an \textit{Anchor Residual Pathway} comprising image-conditioned, low-rank adapters to re-ground text anchors in the target distribution and modulate subsequent text-conditioned interactions. Guided solely by image-level category labels, \TAG{} jointly optimizes binary cross-entropy with \textit{Soft Boundary Ranking} objectives to calibrate presence confidence and distinguish present concepts from confusable negatives. Building upon this, we devise \textit{Confidence-Weighted Distillation} to couple rich semantic context of a multimodal large language model with fine-grained spatial priors of SAM3, thereby achieving effective calibration in the absence of manual annotations. Extensive experiments demonstrate that \TAG{} unlocks SAM3's segmentation potential with only 3.1M trainable parameters, achieving impressive performance across diverse scenarios, and notably, even surpassing leading mask-supervised methods on several metrics. \href{https://github.com/MiSsU-HH/TAG_SAM3}{Our code will be publicly available at GitHub \faGithub}.
- Abstract（参考訳）: 最近のSegment Anything Model 3 (SAM3)は、空間的手がかりから概念への強力なプロンプト可能なセグメンテーションを拡張し、ユニバーサルイメージセグメンテーションのための単一の基盤モデルの可能性を高めている。
しかし、この約束はしばしば下流のセグメンテーションタスクにおける信頼性の高いパフォーマンスに変換されない。
SAM3は、認識するオブジェクトを正確に記述するが、どの概念が存在するのかをしっかりと決定するのに苦労する。
これにより、高濃度アノテーションを使わずにターゲットドメイン上でSAM3の概念認識を正す単純なフレームワークである、textit{\underline{T}ext \underline{A}nchor re-\underline{G}rounding (\TAG{})} を提示する。
具体的には、ターゲット分布内のテキストアンカーに、イメージコンディショニングされた低ランクのアダプタを組み込んだ \textit{Anchor Residual Pathway} を導入し、その後のテキストコンディションを変調する。
イメージレベルのカテゴリラベルのみによってガイドされ、 \TAG{} は \textit{Soft Boundary Ranking} の目的とバイナリのクロスエントロピーを共同で最適化し、存在感の信頼性を校正し、現在の概念を矛盾する負と区別する。
そこで我々は,<textit{Confidence-Weighted Distillation} を,SAM3 の微細な空間的先行性を持つマルチモーダル大言語モデルのリッチなセマンティックコンテキストと組み合わせ,手動アノテーションの欠如による効果的なキャリブレーションを実現するために考案した。
広範な実験により、TAG{}はSAM3のセグメンテーションポテンシャルをわずか3.1Mのトレーニング可能なパラメータで解き放ち、様々なシナリオにまたがる優れた性能を達成し、特にいくつかの指標において主要なマスク監督手法を超越している。
https://github.com/MiSsU-HH/TAG_SAM3}{OurコードはGitHub \faGithub}で公開されている。
関連論文リスト
- GFR-SAM: Training-Free Referring Camouflaged Object Segmentation via Cross-Image Prompting [40.66340261994875]
Camouflaged Object Detection (Ref-COD)を参照するには、参照キューによってガイドされた隠されたターゲットをセグメント化する必要がある。
GFR-SAMは、堅牢な3段階トレーニングフリーフレームワークである。
まず,In-Context Exemplar-guided exemplarsを導入し,SAM3にクロスイメージ推論を施し,候補マスクを生成する。
次に、Regional-Global Contrastive Filteringモジュールは、DINOv3ベースのプロトタイプアライメントを通じて候補をランク付けする。
第3に、Geometric-Semantic Refinementモジュールはバウンディングボックスとテキストを同期させ、きめ細かい境界を回復し、インスタンスリコールを強化する。
論文 参考訳（メタデータ） (2026-07-13T15:55:45Z) - SegRAG: Training-Free Retrieval-Augmented Semantic Segmentation [13.665861251747144]
SegRAGは、トレーニング不要の検索拡張セグメンテーションフレームワークである。
SAM3には、DINOv3機能バンクから派生したクラス固有のポイントプロンプトがある。
4つの標準ベンチマークでは、SegRAGはテキストのみのベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-17T19:51:32Z) - SAM 3: Segment Anything with Concepts [93.97262932669081]
概念的プロンプトに基づいて画像やビデオ中のオブジェクトを検出し,セグメントを生成し,追跡する統合モデルであるSegment Anything Model(SAM)3を提案する。
PCSはそのようなプロンプトを受け取り、一致するすべてのオブジェクトインスタンスに対してセグメンテーションマスクとIDを返す。
我々のモデルは、画像レベルの検出器と、単一のバックボーンを共有するメモリベースのビデオトラッカーで構成される。
論文 参考訳（メタデータ） (2025-11-20T18:59:56Z) - Text4Seg++: Advancing Image Segmentation via Generative Language Modeling [52.07442359419673]
画像分割をテキスト生成問題として用いた新しいテキスト・アズ・マスクパラダイムを提案する。
鍵となる革新はセグメンテーションマスクの新しいテキスト表現であるセグメンテーション記述子である。
自然およびリモートセンシングデータセットの実験は、Text4Seg++が最先端モデルよりも一貫して優れていることを示している。
論文 参考訳（メタデータ） (2025-09-08T04:07:14Z) - Talk2SAM: Text-Guided Semantic Enhancement for Complex-Shaped Object Segmentation [0.0]
本研究では,オブジェクトセグメンテーションを改善するためにテキストガイダンスを統合する新しいアプローチであるTalk2SAMを提案する。
ユーザが提供するテキストプロンプトから派生したCLIPベースの埋め込みを使用して、関連する意味領域を識別する。
Talk2SAMはSAM-HQを一貫して上回り、IoUは+5.9%、IoUは+8.3%である。
論文 参考訳（メタデータ） (2025-06-03T19:53:10Z) - SketchYourSeg: Mask-Free Subjective Image Segmentation via Freehand Sketches [116.1810651297801]
SketchYourSegは、主観的なイメージセグメンテーションのための強力なクエリモダリティとして、フリーハンドスケッチを確立している。
我々の評価は、様々なベンチマークで既存のアプローチよりも優れた性能を示している。
論文 参考訳（メタデータ） (2025-01-27T13:07:51Z) - LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。
本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。
ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
論文 参考訳（メタデータ） (2024-10-17T07:47:41Z) - SmooSeg: Smoothness Prior for Unsupervised Semantic Segmentation [27.367986520072147]
教師なしセマンティックセグメンテーションは、手動のアノテーションなしでイメージをセマンティックグループに分割する難しいタスクである。
本研究では,SmooSegという手法を提案する。SmooSegは,観察中の近接性関係をスムーズな信号としてモデル化する自己教師付き学習手法である。
SmooSegは3つのデータセットのピクセル精度でSTEGOを著しく上回っている。
論文 参考訳（メタデータ） (2023-10-27T03:29:25Z) - Improving Semantic Segmentation via Decoupled Body and Edge Supervision [89.57847958016981]
既存のセグメンテーションアプローチは、グローバルコンテキストをモデル化することでオブジェクトの内部の一貫性を改善すること、あるいはマルチスケールの特徴融合によって境界に沿ったオブジェクトの詳細を洗練することを目的としている。
本稿では,セマンティックセグメンテーションのための新しいパラダイムを提案する。
我々の洞察は、セマンティックセグメンテーションの魅力ある性能には、画像の高頻度と低頻度に対応するオブジェクトのテキストボディとテキストエッジを具体的にモデル化する必要があるということである。
さまざまなベースラインやバックボーンネットワークを備えた提案したフレームワークが,オブジェクト内部の一貫性とオブジェクト境界を向上させることを示す。
論文 参考訳（メタデータ） (2020-07-20T12:11:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。