論文の概要: ReACT-CLIP: Response-Aware Test-Time Defense for Vision--Language Models

• arxiv url: http://arxiv.org/abs/2608.01067v1
• Date: Sun, 02 Aug 2026 08:06:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.076126
• Title: ReACT-CLIP: Response-Aware Test-Time Defense for Vision--Language Models
• Title（参考訳）: ReACT-CLIP:視覚モデルのための応答型テストタイムディフェンス
• Authors: Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan,
• Abstract要約: ReACT-CLIPは、各入力がどの程度強く修正されるべきか、防御介入が必要かを決定するテストタイムディフェンスである。 多様な攻撃タイプや強みにまたがって、相当な堅牢性向上を実現しますが、大部分はクリーンな正確さを保っています。
• 参考スコア（独自算出の注目度）: 34.88445604400548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training-free test-time defenses offer a practical way to improve the adversarial robustness of CLIP-style vision--language models without modifying the pretrained model. However, their correction strength is typically fixed for a narrow range of attack budgets, even though the attack budget is unknown at inference and the required correction varies across samples. We show that this mismatch causes existing defenses to degrade sharply as attacks strengthen. We introduce ReACT-CLIP, a response-conditioned test-time defense that separately determines how strongly each input should be corrected and whether defensive intervention is necessary. Our key observation is that the relative increase in CLIP visual-feature drift between low- and high-noise probes provides a graded, sample-specific proxy for correction demand. ReACT-CLIP maps this relative cross-noise drift to the Gaussian noise scale used to construct a stable, noise-averaged feature anchor, enabling the corrective reach to adapt to each input. To determine whether intervention is necessary, we further observe that clean inputs retain stable class-probability distributions under weak spatial augmentations, whereas adversarial inputs exhibit greater variation. ReACT-CLIP quantifies this variation using a prediction-instability score computed by Jensen--Shannon divergence and combines it with relative cross-noise drift to form the defensive intervention score. ReACT-CLIP requires no model or prompt training, and its correction-strength mapping is calibrated once and fixed across datasets and attack budgets. Across 12 downstream datasets, as well as ImageNet and its distribution-shifted variants, ReACT-CLIP delivers substantial robustness gains across diverse attack types and strengths while largely preserving clean accuracy.
• Abstract（参考訳）: トレーニング不要なテストタイムディフェンスは、事前訓練されたモデルを変更することなく、CLIPスタイルの視覚言語モデルの対角的堅牢性を改善する実用的な方法を提供する。 しかしながら、それらの補正強度は、推測時に攻撃予算が不明であり、必要な補正がサンプルによって異なるにもかかわらず、通常、限られた攻撃予算のために固定される。 このミスマッチは、攻撃が強化されるにつれて、既存の防御が急激に悪化することを示します。 応答条件付きテストタイムディフェンスであるReACT-CLIPを導入し、各入力がどの程度強く修正されるべきか、防御介入が必要かを別々に判定する。 我々のキーとなる観察は、低ノイズプローブと高ノイズプローブの間のCLIPの視覚的特徴の相対的な増加は、補正要求に対して、グレードされたサンプル特異的プロキシを提供することである。 ReACT-CLIPは、この相対的なクロスノイズドリフトをガウス雑音スケールにマッピングし、安定で平均的な特徴アンカーを構築する。 介入が必要かどうかを判断するためには、クリーン入力が弱い空間拡張の下で安定したクラス確率分布を保持するのに対し、逆入力はより大きなばらつきを示す。 ReACT-CLIPはJensen-Shannon分散によって計算された予測不安定スコアを用いてこの変動を定量化し、相対的なクロスノイズドリフトと組み合わせて防御介入スコアを形成する。 ReACT-CLIPはモデルやプロンプトのトレーニングを必要としない。 12のダウンストリームデータセットと、ImageNetとその分散シフトの亜種に加えて、ReACT-CLIPは、さまざまな攻撃タイプや強みにまたがって、相当な堅牢性向上を提供すると同時に、大部分がクリーンな正確さを保っている。

関連論文リスト

• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• Robustifying Vision-Language Models via Test-Time Prompt Adaptation [23.05168102474528]
  サンプルレベルの推定から分布レベルのアライメントに移行するテストtImeプロンプト・タダプテーションフレームワークであるRITAを提案する。 特に、RITAは、拡張視覚特徴の分布をテキストプロトタイプと整合させ、敵対的外乱を緩和し、モーダルな意味的不一致を是正するために最適なトランスポートを使用する。
  論文  参考訳（メタデータ） (2026-07-10T14:19:42Z)
• AGC: Adaptive Geodesic Correction for Adversarial Robustness on Vision-Language Models [38.50355675955809]
  AGCは8つのきめ細かいデータセットと3つのCLIPバックボーンで優れたパフォーマンスを実現している。 以上の結果から,CLIP機能の基本的幾何学的性質が明らかとなり,ロバストなマルチモーダルデプロイメントのための高効率かつ効果的なパラダイムが提供される。
  論文  参考訳（メタデータ） (2026-05-15T03:48:22Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Do Not Imitate, Reinforce: Iterative Classification via Belief Refinement [10.794100274863816]
  模擬目的を強化学習(RL)に置き換える強化反復分類(RIC)を提案する。 RICは、クラス上の予測分布を反復的に更新するリカレントエージェントをデプロイし、予測品質を段階的に改善するための報酬を受け取る。 画像分類ベンチマークでは、RICは教師付きベースラインの精度とキャリブレーションの改善を照合し、入力間で適応的に計算を割り当てることを学ぶ。
  論文  参考訳（メタデータ） (2026-04-23T23:06:48Z)
• Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
  視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。 COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。 COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
  論文  参考訳（メタデータ） (2025-10-28T03:47:44Z)
• Bayesian Test-time Adaptation for Object Recognition and Detection with Vision-language Models [86.53246292425699]
  我々は、オブジェクト認識と検出の両方のためのTTAのためのトレーニングフリーフレームワークであるBCA+を提案する。 我々はベイズ推論問題として適応を定式化し、キャッシュベースの予測で初期VLM出力を融合することで最終的な予測を生成する。 BCA+は、認識と検出のベンチマークの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-10-03T06:27:33Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Robust Feature Inference: A Test-time Defense Strategy using Spectral Projections [12.807619042576018]
  我々はロバスト特徴推論(RFI)と呼ばれる新しいテスト時間防衛戦略を提案する。 RFIは、追加のテスト時間計算なしで既存の(ロバストな)トレーニング手順と簡単に統合できる。 RFIは、適応攻撃や転送攻撃によるロバスト性を継続的に改善することを示す。
  論文  参考訳（メタデータ） (2023-07-21T16:18:58Z)
• Blending adversarial training and representation-conditional purification via aggregation improves adversarial robustness [6.484231366444063]
  CARSOは、防御のために考案された適応的なエンドツーエンドのホワイトボックス攻撃から自身を守ることができる。 提案手法は,Cifar-10,Cifar-100,TinyImageNet-200の最先端技術により改善されている。
  論文  参考訳（メタデータ） (2023-05-25T09:04:31Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。