論文の概要: Plug-in Feedback Self-adaptive Attention in CLIP for Training-free Open-Vocabulary Segmentation

• arxiv url: http://arxiv.org/abs/2508.20265v1
• Date: Wed, 27 Aug 2025 20:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.82365
• Title: Plug-in Feedback Self-adaptive Attention in CLIP for Training-free Open-Vocabulary Segmentation
• Title（参考訳）: CLIPにおけるプラグインフィードバックの自己適応的注意 : 学習自由なオープン語彙セグメンテーション
• Authors: Zhixiang Chi, Yanan Wu, Li Gu, Huan Liu, Ziqiang Wang, Yang Zhang, Yang Wang, Konstantinos N. Plataniotis,
• Abstract要約: CLIPは、強い視覚的テキストアライメントを示すが、ローカライゼーションが不十分なため、オープン語彙セグメンテーションに苦慮している。 本稿では,出力ベースのパッチレベルの対応を中間的注意に戻す,トレーニング不要でフィードバック駆動型の自己適応型フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 48.488114831677166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: CLIP exhibits strong visual-textual alignment but struggle with open-vocabulary segmentation due to poor localization. Prior methods enhance spatial coherence by modifying intermediate attention. But, this coherence isn't consistently propagated to the final output due to subsequent operations such as projections. Additionally, intermediate attention lacks direct interaction with text representations, such semantic discrepancy limits the full potential of CLIP. In this work, we propose a training-free, feedback-driven self-adaptive framework that adapts output-based patch-level correspondences back to the intermediate attention. The output predictions, being the culmination of the model's processing, encapsulate the most comprehensive visual and textual semantics about each patch. Our approach enhances semantic consistency between internal representations and final predictions by leveraging the model's outputs as a stronger spatial coherence prior. We design key modules, including attention isolation, confidence-based pruning for sparse adaptation, and adaptation ensemble, to effectively feedback the output coherence cues. Our method functions as a plug-in module, seamlessly integrating into four state-of-the-art approaches with three backbones (ViT-B, ViT-L, ViT-H). We further validate our framework across multiple attention types (Q-K, self-self, and Proxy augmented with MAE, SAM, and DINO). Our approach consistently improves their performance across eight benchmarks.
• Abstract（参考訳）: CLIPは、強い視覚的テキストアライメントを示すが、ローカライゼーションが不十分なため、オープン語彙セグメンテーションに苦慮している。 従来の手法は、中間的注意を修正して空間的コヒーレンスを高める。 しかし、プロジェクションのようなその後の操作のために、このコヒーレンスは最終的な出力に一貫して伝播するわけではない。 さらに、中間的な注意はテキスト表現と直接の相互作用に欠けており、このような意味的不一致はCLIPの潜在能力を制限している。 そこで本研究では,出力ベースのパッチレベルの対応を中間的注意に戻す,トレーニングフリーでフィードバック駆動型の自己適応型フレームワークを提案する。 出力予測は、各パッチに関する最も包括的な視覚的およびテキスト的意味論をカプセル化する。 提案手法は, モデル出力をより強い空間コヒーレンスとして利用することにより, 内部表現と最終予測のセマンティック一貫性を向上させる。 我々は、アテンションアイソレーション、スパース適応のための信頼に基づくプルーニング、適応アンサンブルを含む重要なモジュールを設計し、出力コヒーレンスキューを効果的にフィードバックする。 本手法はプラグインモジュールとして機能し、3つのバックボーン(ViT-B, ViT-L, ViT-H)で4つの最先端アプローチにシームレスに統合する。 さらに,MAE,SAM,DINOを併用したQ-K,自己,プロキシの多種多岐にわたるフレームワークの検証を行った。 私たちのアプローチは8つのベンチマークで継続的にパフォーマンスを改善します。

関連論文リスト

• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• Towards Fine-Grained Adaptation of CLIP via a Self-Trained Alignment Score [11.74414842618874]
  適応中の微粒な相互モーダル相互作用をモデル化すると、より正確でクラス別な擬似ラベルが得られることを示す。 局所化画像特徴と記述言語埋め込みとを動的に整合させる革新的なアプローチであるFAIR(ファインフルアライメント・アンド・インタラクション・リファインメント)を導入する。 当社のアプローチであるFAIRは、きめ細かな教師なし適応において大幅なパフォーマンス向上を実現し、2.78%という顕著な全体的な向上を実現しています。
  論文  参考訳（メタデータ） (2025-07-13T12:38:38Z)
• Preserving Clusters in Prompt Learning for Unsupervised Domain Adaptation [29.809079908218607]
  この研究は、ベース擬似ラベルを強化し、ターゲット・プロンプト学習を促進する新しいソリューションを導入している。 まず、ソースとターゲットの視覚的埋め込みの関係に基づき、参照予測を活用することを提案する。 その後、事前学習したマルチモーダルモデルにおいて、視覚とテキストの埋め込みの間に強いクラスタリングの挙動が観察されていることを示した。
  論文  参考訳（メタデータ） (2025-06-13T06:33:27Z)
• ATAS: Any-to-Any Self-Distillation for Enhanced Open-Vocabulary Dense Prediction [3.7365850182404845]
  Any-to-Any Self-Distillation (ATAS)は、セマンティックコヒーレンスときめ細かいアライメントを同時に強化する新しいアプローチである。 ATASはオープン語彙オブジェクト検出とセマンティックセグメンテーションのベンチマークでかなりの性能向上を達成した。
  論文  参考訳（メタデータ） (2025-06-10T10:40:10Z)
• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• ResCLIP: Residual Attention for Training-free Dense Vision-language Inference [27.551367463011008]
  CLIPの非最終層における自己注意の相互相関も局在特性を示す。 本稿では, 中間層からの相互相関自己アテンションを利用して, 最終ブロックの注意を再認識するResidual Cross-correlation Self-attention (RCS) モジュールを提案する。 RCSモジュールは空間情報を効果的に再構成し、高密度視覚言語推論のためのCLIP内の局在電位を解放する。
  論文  参考訳（メタデータ） (2024-11-24T14:14:14Z)
• Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation [114.72734384299476]
  本稿では,言語駆動型ビジュアルコンセンサス(LDVC)アプローチを提案する。 クラス埋め込みを、その離散的で抽象的な性質からアンカーとして活用し、クラス埋め込みに向けて視覚的特徴を操る。 我々の手法は、目に見えないクラスに対するセグメンテーションモデルの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-13T11:23:55Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Progressively Guide to Attend: An Iterative Alignment Framework for Temporal Sentence Grounding [53.377028000325424]
  時間的文接地作業のための反復アライメントネットワーク(IA-Net)を提案する。 学習可能なパラメータを持つマルチモーダル特徴をパットすることで、非整合フレームワードペアの非整合問題を軽減する。 また、アライメントの知識を洗練させるために、各アライメントモジュールに従ってキャリブレーションモジュールを考案する。
  論文  参考訳（メタデータ） (2021-09-14T02:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。