論文の概要: CorrCLIPv2: Harnessing Unlabeled Images for Open-Vocabulary Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2610.24757v1
- Date: Sat, 17 Oct 2026 15:53:40 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 11:40:12.913616
- Title: CorrCLIPv2: Harnessing Unlabeled Images for Open-Vocabulary Semantic Segmentation
- Title（参考訳）: CorrCLIPv2:Open-Vocabulary Semantic Segmentationのためのラベルなし画像のハーネス化
- Abstract要約: Open-vocabulary semantic segmentationは、固定されたカテゴリに制限されることなくピクセルを分類することを目的としている。
Contrastive Language-Image Pre-Training (CLIP) はオープン語彙認識の著しい可能性を示す。
この研究は、CorrCLIPv2という名前の、トレーニング不要なオブジェクト中心の統一フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 50.18164168267435
- License:
- Abstract: Open-vocabulary semantic segmentation aims to classify pixels without being restricted to a fixed set of categories. Although Contrastive Language-Image Pre-training (CLIP) demonstrates remarkable potential for open-vocabulary recognition, its segmentation capability is impaired by noisy inter-class patch interactions. To this end, this work proposes a unified training-free object-centric framework, named CorrCLIPv2, from three complementary aspects of patch correlation, feature representation, and output regularization. Specifically, for patch correlation, we leverage class-agnostic mask generators to explicitly disentangle inter-class interactions. Moreover, we utilize spatially-coherent features from self-supervised models to compute attention scores to mitigate mask inaccuracies. Regarding feature representation, we devise a refinement mechanism to simultaneously strengthen spatial details and semantic representation. Within the output space, we unify predictions via voting in each mask to enhance spatial consistency. To mitigate contextual bias and enhance prediction accuracy of objects, we further extend the framework by incorporating a cross-image object retrieval paradigm, which incurs minimal computational overhead. We build a memory bank of CorrCLIP-enhanced features from unlabeled images and implement a regime of multi-CLIP ensemble. By aggregating semantically consistent object features across diverse contexts retrieved from the memory bank, CorrCLIPv2 mitigates context-induced interference and obtains more robust predictions. Extensive experiments demonstrate that our approach establishes a new state-of-the-art on 10 standard benchmarks. Remarkably, it even surpasses fully supervised open-vocabulary methods across 22 multi-domain datasets. Code is available at: https://github.com/zdk258/CorrCLIP.
- Abstract（参考訳）: Open-vocabulary semantic segmentationは、固定されたカテゴリに制限されることなくピクセルを分類することを目的としている。
Contrastive Language-Image Pre-Training (CLIP) はオープン語彙認識の著しい可能性を示しているが、そのセグメンテーション能力はクラス間パッチのノイズによって損なわれている。
この目的のために、パッチ相関、特徴表現、出力正則化の3つの相補的な側面から、CorrCLIPv2という名前のトレーニングフリーなオブジェクト中心フレームワークを提案する。
具体的には、パッチ相関のために、クラスに依存しないマスク生成器を利用して、クラス間の相互作用を明示的に切り離す。
さらに,自己教師型モデルからの空間コヒーレントな特徴を利用して注意スコアを計算し,マスクの不正確性を緩和する。
特徴表現に関しては,空間的詳細と意味表現を同時に強化する改良機構を考案する。
出力空間内では,各マスクの投票による予測を統一し,空間的整合性を高める。
コンテキストバイアスを緩和し、オブジェクトの予測精度を高めるために、最小の計算オーバーヘッドを発生させるクロスイメージオブジェクト検索パラダイムを組み込むことで、フレームワークをさらに拡張する。
我々は、ラベルのない画像からCorrCLIPを拡張したメモリバンクを構築し、マルチCLIPアンサンブルの仕組みを実装した。
CorrCLIPv2は、メモリバンクから取得したさまざまなコンテキストにまたがるセマンティック一貫性のあるオブジェクト機能を集約することにより、コンテキストによる干渉を緩和し、より堅牢な予測を得る。
大規模な実験は、我々のアプローチが10の標準ベンチマークで新しい最先端のベンチマークを確立することを実証している。
注目すべきは、22のマルチドメインデータセットにまたがる、完全に管理されたオープン語彙メソッドを超えていることだ。
コードは、https://github.com/zdk258/CorrCLIP.comで入手できる。
関連論文リスト
- Learning a Semantic Calibration Network for Open-Vocabulary Semantic Segmentation [5.122331812021513]
Open-Vocabulary (OVS) は、セグメンテーションタスクを固定集合から開集合に拡張する。
オープン語彙セマンティックセマンティックスセグメンテーションのための新しいセマンティックネットワーク(SCN)を提案する。
提案手法は,最先端のアルゴリズムと比較して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2026-06-06T06:42:03Z) - PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation [58.1914505657064]
本稿では,クラスレベルのセマンティクスと空間コンテキスト間の知識干渉の課題を軽減するために,単純な並列コストアグリゲーション(PCA-Seg)パラダイムを提案する。
8つのベンチマークの実験では、PCA-Segの各並列ブロックは0.35万のパラメータしか追加せず、最先端のOSPS性能を実現している。
論文 参考訳（メタデータ） (2026-03-18T09:26:43Z) - Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。
2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
論文 参考訳（メタデータ） (2025-08-15T06:43:51Z) - CorrCLIP: Reconstructing Patch Correlations in CLIP for Open-Vocabulary Semantic Segmentation [6.356330972370584]
Contrastive Language-Image Pre-Training (CLIP) は、画像パッチとカテゴリ埋め込みの整合に苦慮している。
本研究は,CLIPのセグメンテーション性能を損なう要因として,クラス間相関が重要であることを明らかにした。
パッチ相関のスコープと値を再構成するCorrCLIPを提案する。
論文 参考訳（メタデータ） (2024-11-15T10:14:55Z) - InvSeg: Test-Time Prompt Inversion for Semantic Segmentation [33.60580908728705]
InvSegはオープン語彙セマンティックセグメンテーションに取り組むテストタイムプロンプトインバージョンメソッドである。
コントラストソフトクラスタリング(Contrastive Soft Clustering, CSC)を導入し, 導出マスクを画像の構造情報と整合させる。
InvSegはコンテキストリッチなテキストプロンプトを埋め込み空間で学習し、モダリティ間の正確なセマンティックアライメントを実現する。
論文 参考訳（メタデータ） (2024-10-15T10:20:31Z) - Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。
融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。
我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
論文 参考訳（メタデータ） (2023-08-19T09:12:13Z) - Beyond the Prototype: Divide-and-conquer Proxies for Few-shot
Segmentation [63.910211095033596]
少ないショットのセグメンテーションは、少数の濃密なラベル付けされたサンプルのみを与えられた、目に見えないクラスオブジェクトをセグメンテーションすることを目的としている。
分割・分散の精神において, 単純かつ多目的な枠組みを提案する。
提案手法は、DCP(disvision-and-conquer proxies)と呼ばれるもので、適切な信頼性のある情報の開発を可能にする。
論文 参考訳（メタデータ） (2022-04-21T06:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。