論文の概要: SegRAG: Training-Free Retrieval-Augmented Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2605.17630v1
- Date: Sun, 17 May 2026 19:51:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.237489
- Title: SegRAG: Training-Free Retrieval-Augmented Semantic Segmentation
- Title（参考訳）: SegRAG: トレーニング不要の検索拡張セマンティックセマンティックセマンティックセグメンテーション
- Abstract要約: SegRAGは、トレーニング不要の検索拡張セグメンテーションフレームワークである。
SAM3には、DINOv3機能バンクから派生したクラス固有のポイントプロンプトがある。
4つのオープン語彙ベンチマークでは、SAM3テキストのみのベースラインよりも一貫したゲインを実現している。
- 参考スコア（独自算出の注目度）: 13.665861251747144
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Here's a trimmed version under 1920 characters: Open-vocabulary segmentation models such as SAM3 achieve strong performance through concept-level text prompting, yet degrade when the target class is visually underrepresented in pretraining data or when its appearance departs from canonical depictions. Text prompts provide no spatial signal to resolve such ambiguity. We present SegRAG, a training-free retrieval-augmented segmentation framework that grounds SAM3 with spatially precise, class-specific point prompts derived from a curated DINOv3 feature bank. During an offline stage, patch-level descriptors are extracted from annotated reference images using a frozen DINOv3 ViT-L/16 backbone and filtered by Intra-Class Cohesion Distillation (ICCD), retaining only prototypes that reliably retrieve within-class foreground. At inference, Topographic Similarity Grounding (TSG) computes a cosine-similarity landscape between the query image and retrieved prototypes, identifies spatially coherent high-confidence regions via connected-component analysis, and extracts peak locations through non-maximum suppression. These point prompts are delivered to SAM3 alongside the class-name text in a single joint grounding pass, enabling the mask decoder to resolve semantic intent and spatial evidence together. SegRAG requires no task-specific training and no synthetic data. On four open-vocabulary benchmarks it achieves consistent gains over the SAM3 text-only baseline, with improvements of up to +3.92 mIoU on LVIS. On AgML agricultural benchmarks representing a zero-shot domain transfer setting, it raises mean IoU from 25.27 to 59.24 (+33.97) and recovers individual classes from zero to over 95 mIoU. Ablation studies confirm that ICCD, TSG, and joint prompting each contribute independently and compound when combined. Code is available at https://github.com/boudiafA/SegRAG.
- Abstract（参考訳）: SAM3のようなオープン語彙セグメンテーションモデルは、概念レベルのテキストプロンプトを通じて強力なパフォーマンスを達成するが、ターゲットクラスが事前訓練データで視覚的に不足している場合や、その外観が標準的描写から外れている場合、劣化する。
テキストプロンプトは、そのような曖昧さを解決するための空間信号を提供しない。
我々は,DINOv3特徴バンクから抽出した空間的精度の高いクラス固有点プロンプトでSAM3をベースとした,学習不要な検索拡張セグメンテーションフレームワークであるSegRAGを提案する。
オフラインの段階では、凍結したDINOv3 ViT-L/16バックボーンを用いて注釈付き参照画像からパッチレベルのディスクリプタを抽出し、クラス内凝集蒸留(ICCD)によってフィルタリングし、クラス内フォアグラウンドを確実に回収するプロトタイプのみを保持する。
推測において、TSG(Topographic similarity Grounding)は、クエリ画像と検索されたプロトタイプの間のコサイン類似の景観を計算し、連結成分分析により空間的に一貫性の高い高信頼領域を特定し、非最大抑圧によりピーク位置を抽出する。
これらのポイントプロンプトはSAM3に1つのジョイントグラウンドパスのクラス名テキストと共に配信され、マスクデコーダは意味的意図と空間的証拠を一緒に解決する。
SegRAGはタスク固有のトレーニングを必要とせず、合成データも必要としない。
4つのオープン語彙ベンチマークではSAM3テキストのみのベースラインよりも一貫したゲインを実現し、LVISでは+3.92 mIoUまで改善されている。
ゼロショットドメイン転送設定を表すAgML農業ベンチマークでは、平均IoUが25.27から59.24(+33.97)に上昇し、個々のクラスが0から95mIoUに回復する。
アブレーション研究により、ICCD、TSG、ジョイントプロンプトはそれぞれ独立して寄与し、結合すると複合することが明らかとなった。
コードはhttps://github.com/boudiafA/SegRAGで入手できる。
関連論文リスト
- SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。
既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
論文 参考訳（メタデータ） (2026-09-08T15:11:32Z) - Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。
本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
論文 参考訳（メタデータ） (2026-08-15T13:19:25Z) - Prompt-Calibrated SAM 3 for Open-Vocabulary Remote Sensing Semantic Segmentation [8.872901416973985]
本稿では, SAM 3 のプロンプトインタフェースをリモートセンシング用 OVSS に校正する ProC-SAM3 を提案する。
ProC-SAM3 は平均 mIoU を56.1% で達成し、以前の最高のトレーニングフリー法よりも3.9 ポイント向上した。
論文 参考訳（メタデータ） (2026-06-20T04:05:37Z) - ET-SAM: Efficient Point Prompt Prediction in SAM for Unified Scene Text Detection and Layout Analysis [39.062952450992746]
ET-SAMは、SAMに基づいたテキスト検出とレイアウト解析のための2つのデコーダを備えた効率的なフレームワークである。
我々は、いくつかの前景点を達成するために単語のヒートマップを生成する軽量なポイントデコーダをカスタマイズする。
学習可能な3つのタスクプロンプトをポイントデコーダと階層マスクデコーダの両方に導入し,データセット間の差を緩和する。
論文 参考訳（メタデータ） (2026-03-26T08:37:32Z) - SegEarth-OV3: Exploring SAM 3 for Open-Vocabulary Semantic Segmentation in Remote Sensing Images [51.42466259821335]
我々は, SAM 3 をリモートセンシング OVSS タスクに適用するための予備的な検討を行った。
まず,SAM 3のセマンティックセグメンテーションヘッドとトランスフォーマーデコーダの出力を組み合わせたマスク融合戦略を実装した。
第2に、シーンに存在しないカテゴリをフィルタリングするために、プレゼンスヘッドからのプレゼンススコアを利用する。
論文 参考訳（メタデータ） (2025-12-09T15:42:28Z) - Exploring Efficient Open-Vocabulary Segmentation in the Remote Sensing [55.291219073365546]
Open-Vocabulary Remote Sensing Image (OVRSIS)は、OVS(Open-Vocabulary)をリモートセンシング(RS)ドメインに適応させる新しいタスクである。
textbfRSKT-Segは、リモートセンシングに適した新しいオープン語彙セグメンテーションフレームワークである。
RSKT-Segは高いOVSベースラインを+3.8 mIoUと+5.9 mACCで上回り、効率的なアグリゲーションによって2倍高速な推論を実現している。
論文 参考訳（メタデータ） (2025-09-15T15:24:49Z) - Open-world Point Cloud Semantic Segmentation: A Human-in-the-loop Framework [8.451270206964534]
オープンワールドポイントクラウドセマンティックセグメンテーション(OW-Seg)は、実世界のシナリオにおいて、ベースクラスと新しいクラスのポイントラベルを予測することを目的としている。
HOW-SegはOW-Segのための最初のヒューマン・イン・ザ・ループ・フレームワークである。
HOW-Segは、疎い人間のアノテーションをガイダンスとして活用することにより、ベースクラスと新規クラスのプロトタイプベースのセグメンテーションを可能にする。
論文 参考訳（メタデータ） (2025-08-07T01:20:41Z) - RG-SAN: Rule-Guided Spatial Awareness Network for End-to-End 3D Referring Expression Segmentation [72.95147072227998]
3D参照式は、参照式と点雲を関連付けて3Dオブジェクトをセグメントすることを目的としている。
従来のアプローチでは、インスタンスの空間情報に重点が置かれていないため、過剰なセグメンテーションや誤ったセグメンテーションといった問題に頻繁に遭遇する。
本稿では,ルールガイド型空間認識ネットワーク(RG-SAN)を導入する。
論文 参考訳（メタデータ） (2024-12-03T11:50:16Z) - LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。
本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。
ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
論文 参考訳（メタデータ） (2024-10-17T07:47:41Z) - Subspace Prototype Guidance for Mitigating Class Imbalance in Point Cloud Semantic Segmentation [23.250178208474928]
本稿では,サブスペースのプロトタイプガイダンス(textbfSPG)を用いて,セグメンテーションネットワークのトレーニングを指導する手法を提案する。
提案手法はセグメンテーション性能を大幅に向上し,最先端の手法を超越する。
論文 参考訳（メタデータ） (2024-08-20T04:31:46Z) - SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding [56.079013202051094]
ボックスレベルのアノテーションを信号として転送する新しい手法であるSegVGを提案する。
このアプローチでは,ボックスレベルのレグレッションとピクセルレベルのセグメンテーションの両方の信号としてアノテーションを反復的に利用することができる。
論文 参考訳（メタデータ） (2024-07-03T15:30:45Z) - A Language-Guided Benchmark for Weakly Supervised Open Vocabulary
Semantic Segmentation [10.054960979867584]
本稿では,ZSS,FSS,クロスデータセットのセグメンテーションを新しいクラスで実行可能な,弱い教師付きOVSSパイプラインを提案する。
提案したパイプラインは、弱一般化ゼロショットと弱Few-Shotセマンティックセマンティックセグメンテーションをそれぞれ39と3のmIOUポイントで上回っている。
論文 参考訳（メタデータ） (2023-02-27T21:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。