論文の概要: Label-Free Localization and Test-Time Suppression of CLIP's Typographic Circuits
- arxiv url: http://arxiv.org/abs/2611.01513v1
- Date: Sun, 01 Nov 2026 03:47:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 23:14:26.110266
- Title: Label-Free Localization and Test-Time Suppression of CLIP's Typographic Circuits
- Title(参考訳): CLIPのタイポグラフィ回路のラベルフリー局在とテスト時間抑制
- Abstract要約: 本稿では,個別の注意を解釈可能な,頭固有の潜伏語に分解する,Sparse Dictionary Learningアーキテクチャを提案する。
我々は、テスト時に識別された語彙ヘッドのパッチトークンから注意をそらす機械的介入を行う。
実験により、この介入は、タイポグラフィー攻撃下でのオブジェクト分類を効果的に回復し、5つのCLIP変種と4つのタイポグラフィーベンチマークで最大46.9%の改善が達成された。
- 参考スコア(独自算出の注目度): 42.575178574443946
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: CLIP-based Vision-Language Models have become cornerstones of modern multimodal systems. The cross-modal contrastive objective equips the CLIP vision encoder to both see objects and read text. These two abilities induce an entanglement between the encoding of lexical and semantic shapes, creating a distinctive vulnerability to typographic attacks, in which rendered text overrides an image's semantic content with its literal meaning. The black-box nature of these encoders has prevented a mechanistic interpretation of such entanglement. We introduce a head-decomposed Sparse Dictionary Learning (SDL) architecture that, by design, decomposes individual attention heads into interpretable, head-specific latents. Based on this inductive disentanglement, we re-purpose Clarity Score and propose normalized Text Attribution Score, which are both label-free, to identify attention heads that carry typographic information. As a causal validation of successful circuit separation, we perform a mechanistic intervention that reweighs attention away from the patch tokens in the identified lexical heads at test-time. Experiments show that the intervention effectively recovers object classification under typographic attack and, across five CLIP variants and four typographic benchmarks, achieves up to 46.9% improvement while incurring up to 1% accuracy loss in general image perception, outperforming prior supervised and training-free methods. Expanding on the mechanistic intervention, we propose a test-time adaptive attention head routing to further reduce the impact on performance at matched robustness, pushing beyond the Pareto frontier of current robustness-perception tradeoff.
- Abstract(参考訳): CLIPベースのVision-Language Modelsは、現代のマルチモーダルシステムの基盤となっている。
クロスモーダルのコントラスト目的は、CLIPビジョンエンコーダにオブジェクトとテキストの両方を表示する。
これらの2つの能力は、語彙と意味的形状のエンコーディングの絡み合いを誘発し、タイポグラフィー攻撃に対する特異な脆弱性を生み出し、そこでは、描画されたテキストがその文字通りの意味で画像のセマンティックコンテンツをオーバーライドする。
これらのエンコーダのブラックボックスの性質は、そのような絡み合いの機械的解釈を妨げている。
本稿では,SDLアーキテクチャを提案する。SDLアーキテクチャは,設計上,個々の注意を解釈可能な,頭部固有の潜伏語に分解する。
この帰納的絡み合いに基づいて、Clarity Scoreを再利用し、ラベルなしの正規化テキスト属性スコアを提案し、タイポグラフィー情報を運ぶ注意ヘッドを識別する。
回路分離を成功させるための因果的検証として,テスト時に同定された語彙ヘッドのパッチトークンから注意をそらす機械的介入を行う。
実験により、5つのCLIPの変種と4つのタイポグラフィーのベンチマークにおいて、この介入はオブジェクトの分類を効果的に回復し、最大46.9%の改善が達成され、一般的な画像知覚において最大1%の精度の損失が生じる。
機械的介入を拡大し,テスト時間適応型アダプティブアテンションヘッドルーティングを提案し,一致したロバストネスにおける性能への影響をさらに低減し,現在のロバストネス-パーセプショントレードオフのパレートフロンティアを超えて推し進める。
関連論文リスト
- Towards Robustness against Typographic Attack with Training-free Concept Localization [42.575178574443946]
Contrastive Language-Image Pretraining Model (CLIP)は、現代のLVLM(Large Vision Language Models)の基盤となるビジョンエンコーダとして機能する。
CLIPモデルには重要な障害モードがあり、画像内に現れる無関係なテキストは、真の視覚的意味論ではなく、語彙的な意味に偏っている。
この問題は、一般的にはTypographic Attack (TA)と呼ばれ、自律運転のような安全クリティカルなアプリケーションに重大なリスクをもたらす脆弱性を露呈する。
そこで本稿では,TAに対する解釈可能かつ効果的なロバスト性を実現するための,新しい学習自由な機械的解釈法を提案する。
論文 参考訳(メタデータ) (2026-07-02T17:55:24Z) - CalibCLIP: Contextual Calibration of Dominant Semantics for Text-Driven Image Retrieval [32.19047293714607]
CalibCLIPは、支配トークンの抑制効果を校正するために設計された訓練不要の方法である。
本稿では,視覚的特徴をターゲット領域と低情報領域に分離するContrastive Visual Enhancerを提案する。
テキスト空間では,一般概念と差別概念の区別を目的とした識別概念キャリブレータを導入する。
論文 参考訳(メタデータ) (2025-10-07T05:16:29Z) - ATAS: Any-to-Any Self-Distillation for Enhanced Open-Vocabulary Dense Prediction [7.353998772647553]
Any-to-Any Self-Distillation (ATAS)は、セマンティックコヒーレンスときめ細かいアライメントを同時に強化する新しいアプローチである。
ATASはオープン語彙オブジェクト検出とセマンティックセグメンテーションのベンチマークでかなりの性能向上を達成した。
論文 参考訳(メタデータ) (2025-06-10T10:40:10Z) - Debiasing CLIP: Interpreting and Correcting Bias in Attention Heads [29.880490526874876]
我々は,刺激的な注意を識別し,ターゲットアブレーションによって軽減する,コントラスト的なフレームワークであるtextsc-Then-Correct (LTC) を導入する。
我々は,背景性バイアスのあるベンチマークでLCCを評価し,非トレーニング後ベースラインと比較して,最低グループ精度が50%以上向上した。
我々は,選択した頭部の表現を可視化し,提示された解釈が,刺激的な頭部と快楽な頭部の両方を識別するコントラスト的なメカニズムを裏付けていることを見出した。
論文 参考訳(メタデータ) (2025-05-23T03:13:42Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳(メタデータ) (2025-03-11T17:59:41Z) - Extract Free Dense Misalignment from CLIP [7.0247398611254175]
この研究はCLIP4DMと呼ばれる新しいアプローチを提案する。
我々は、個々のテキストトークンの負の勾配を誤適応を示すために、勾配に基づく属性計算法を改良する。
提案手法は,ゼロショットモデル間の最先端性能と微調整モデルとの競合性能を示す。
論文 参考訳(メタデータ) (2024-12-24T12:51:05Z) - Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation [114.72734384299476]
本稿では,言語駆動型ビジュアルコンセンサス(LDVC)アプローチを提案する。
クラス埋め込みを、その離散的で抽象的な性質からアンカーとして活用し、クラス埋め込みに向けて視覚的特徴を操る。
我々の手法は、目に見えないクラスに対するセグメンテーションモデルの能力を大幅に向上させる。
論文 参考訳(メタデータ) (2024-03-13T11:23:55Z) - Prefix Conditioning Unifies Language and Label Supervision [84.11127588805138]
学習した表現の一般化性を低減することにより,データセットのバイアスが事前学習に悪影響を及ぼすことを示す。
実験では、この単純な手法により、ゼロショット画像認識精度が向上し、画像レベルの分布シフトに対するロバスト性が向上することを示した。
論文 参考訳(メタデータ) (2022-06-02T16:12:26Z) - No Token Left Behind: Explainability-Aided Image Classification and
Generation [79.4957965474334]
ここでは、CLIPが入力のすべての関連する意味的部分に焦点を当てることを保証するために、損失項を追加する新しい説明可能性に基づくアプローチを提案する。
本手法は, 追加訓練や微調整を伴わずに, 認識率の向上を図っている。
論文 参考訳(メタデータ) (2022-04-11T07:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。