論文の概要: SCI-CLIP: Segment-Centric Inference with Reference Memory for Training-Free Open-Vocabulary Segmentation
- arxiv url: http://arxiv.org/abs/2608.05627v1
- Date: Thu, 06 Aug 2026 05:47:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.825507
- Title: SCI-CLIP: Segment-Centric Inference with Reference Memory for Training-Free Open-Vocabulary Segmentation
- Title（参考訳）: SCI-CLIP:学習自由なオープン語彙セグメンテーションのための参照メモリ付きセグメント中心推論
- Abstract要約: 本稿では,SCI-CLIPについて述べる。SCI-CLIPはセグメンテーション中心の推論フレームワークで,同じ領域の抽象化は,密接な開語彙予測のすべての段階を整理するべきだという原則に基づいて構築されている。
SCI-CLIPは、凍結したCLIPスタイルの機能を、トレーニングなしで空間的に一貫性があり、コンテキストを認識し、検索に適合する高密度な予測に変換する。
- 参考スコア（独自算出の注目度）: 0.6015898117103069
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Training-free open-vocabulary segmentation remains limited by a missing inference abstraction. Frozen vision-language features are produced at patch level, yet dense prediction requires a unit that simultaneously governs feature interaction, spatial support, contextual recovery, and retrieval-based correction. We present SCI-CLIP, a segment-centric inference framework built around the principle that the same region abstraction should organize all stages of dense open-vocabulary prediction. SCI-CLIP first induces a region-consistent interaction graph over frozen visual tokens, then reconstructs dense features by propagating values over this graph, augmenting them with selective cross-window support only where local evidence is insufficient. The same segment abstraction is subsequently used to construct and query an offline reference memory, aligning exemplar retrieval with the units on which prediction is made. SCI-CLIP turns frozen CLIP-style features into spatially coherent, context-aware, and retrieval-compatible dense predictions without any training. SCI-CLIP consistently improves the structural quality of dense predictions, the robustness of contextual reasoning, and the alignment of exemplar-based correction, yielding stronger open-vocabulary segmentation across eight benchmarks. Project code is available at: https://github.com/mzamini92/SCICLIP.
- Abstract（参考訳）: 訓練なしのオープン語彙セグメンテーションは、推論の抽象化が欠けていることで制限されている。
凍結した視覚言語の特徴はパッチレベルで生成されるが、密集した予測には、特徴の相互作用、空間的サポート、コンテキスト回復、検索に基づく修正を同時に管理するユニットが必要である。
本稿では,SCI-CLIPについて述べる。SCI-CLIPはセグメンテーション中心の推論フレームワークで,同じ領域の抽象化は,密接な開語彙予測のすべての段階を整理するべきだという原則に基づいて構築されている。
SCI-CLIPは、まず、凍結した視覚トークン上の領域一貫性の相互作用グラフを誘導し、その後、このグラフ上の値を伝播することで密集した特徴を再構成し、局所的な証拠が不十分な場合にのみ、選択的なクロスウィンドウサポートで拡張する。
その後、オフライン参照メモリを構築・クエリするために同じセグメントの抽象化が使用され、予測されたユニットと模範検索を一致させる。
SCI-CLIPは、凍結したCLIPスタイルの機能を、トレーニングなしで空間的に一貫性があり、コンテキストを認識し、検索に適合する高密度な予測に変換する。
SCI-CLIPは、密接な予測の構造的品質、文脈的推論の堅牢性、および模範に基づく修正のアライメントを一貫して改善し、8つのベンチマークでより強力な開語彙セグメンテーションをもたらす。
プロジェクトコードは、https://github.com/mzamini92/SCICLIPで利用可能である。
関連論文リスト
- TraceCLIP: Recovering Local Semantics from Patch-to-CLS Contributions [20.430455131220544]
我々は、潜伏パッチレベルのセマンティックエビデンスを回復するトレーニング不要のフレームワークであるTraceCLIPを紹介する。
また,TraceCLIPは,最強のトレーニングフリー手法よりも平均mIoUで1.3～4.5ポイント向上することを示した。
論文 参考訳（メタデータ） (2026-07-28T11:25:27Z) - Fine-grained CLIP fine-tuning with self-annotated region alignment [57.28808560528696]
対照的な言語-画像事前学習は、そのきめ細かい特徴表現に制限があることが示されている。
そこで我々は,CLIPファインチューニングにおける細粒度表現能力を高めるために,SFF-CLIP(Self-annotated Fine-fine-tuning for CLIP)を提案する。
論文 参考訳（メタデータ） (2026-07-15T10:06:39Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - DouC: Dual-Branch CLIP for Training-Free Open-Vocabulary Segmentation [0.6015898117103069]
DouCはトレーニングフリーのデュアルブランチCLIPフレームワークで、密度の高い予測を2つの補完的なコンポーネントに分解する。
OG-CLIPは軽量な推論時間トークンゲーティングによってパッチレベルの信頼性を向上させる。
FADE-CLIPは、凍結した視覚基盤モデルによって導かれるプロキシアテンションを通じて、外部構造を注入する。
論文 参考訳（メタデータ） (2026-04-27T20:59:01Z) - Structure-Aware Feature Rectification with Region Adjacency Graphs for Training-Free Open-Vocabulary Semantic Segmentation [22.409969687852506]
画像から直接派生したインスタンス固有の事前情報を組み込んだ構造認識機能修正手法を提案する。
本手法は,セグメンテーションノイズを効果的に抑制し,領域レベルの整合性を向上し,複数の開語彙セグメンテーションベンチマークにおいて高い性能を実現する。
論文 参考訳（メタデータ） (2025-12-08T10:00:36Z) - Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。
2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
論文 参考訳（メタデータ） (2025-08-15T06:43:51Z) - Partial CLIP is Enough: Chimera-Seg for Zero-shot Semantic Segmentation [55.486872677160015]
本稿では,体としてのセグメンテーションバックボーンと,頭部としてのCLIPベースのセマンティックヘッドを統合したChimera-Segを提案する。
特に、Chimera-Segはトレーニング可能なセグメンテーションモデルとCLIPセマンティックヘッド(CLIP Semantic Head, CSH)を備えており、CLIP対応空間に高密度な特徴をマッピングする。
また,CLIP CLSトークンと高い類似性を示す濃厚な特徴から知識を抽出する選択的グローバル蒸留(SGD)を提案する。
論文 参考訳（メタデータ） (2025-06-27T09:26:50Z) - DeCLIP: Decoupled Learning for Open-Vocabulary Dense Perception [21.87721909270275]
DeCLIPはCLIPをコンテンツとコンテキストの機能で強化する新しいフレームワークである。
複数の開語彙密接な予測タスクで既存の手法を著しく上回っている。
論文 参考訳（メタデータ） (2025-05-07T13:46:34Z) - Refining CLIP's Spatial Awareness: A Visual-Centric Perspective [10.936397225984107]
コントラスト言語-画像 事前学習は、言語とのグローバルな整合性が優れているが、空間情報に対する感度は限られている。
最近のアプローチでは、高密度マルチモーダルタスクにおけるCLIPの性能を高めるために、Rerea-Language Alignmentを導入している。
本稿では,CLIP固有の空間構造を保存し,上記の劣化を緩和する空間相関蒸留(SCD)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-03T07:04:56Z) - Open-Vocabulary Segmentation with Semantic-Assisted Calibration [68.41025728960176]
オープンボキャブラリセグメンテーション(OVS)は,CLIPの文脈に先行して,語彙内およびドメインバイアスの埋め込み空間を校正することで研究される。
オープン語彙セグメンテーションベンチマークにおける最先端性能を実現するために,セマンティック・アシブ・キャリブレーション・ネットワーク(SCAN)を提案する。
論文 参考訳（メタデータ） (2023-12-07T07:00:09Z) - DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。
DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。
我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
論文 参考訳（メタデータ） (2021-12-02T09:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。