論文の概要: When CLIP Sees More, It Fights Back Harder: Multi-View Guided Adaptive Counterattacks for Test-Time Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2606.06938v1
• Date: Fri, 05 Jun 2026 06:04:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.585032
• Title: When CLIP Sees More, It Fights Back Harder: Multi-View Guided Adaptive Counterattacks for Test-Time Adversarial Robustness
• Title（参考訳）: CLIPがより多くを見るとき、それはより困難を乗り越える: テストタイムの敵対的ロバスト性に対して、マルチビュー誘導のアダプティブ・カウンタアタック
• Authors: Sunoh Kim, Daeho Um,
• Abstract要約: 本稿では,多視点誘導型適応カウンタアタック(MAC)について紹介する。 MACは、チューニング不要な設計で高い推論速度とメモリ効率を保ちながら、ロバスト性を大幅に改善する。
• 参考スコア（独自算出の注目度）: 7.578599270855317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models such as CLIP have achieved remarkable zero-shot recognition capabilities, yet their robustness against adversarial perturbations remains limited. Test-time counterattack (TTC) was recently proposed to improve CLIP's robustness by perturbing an input image to steer it away from a corrupted state during inference. However, TTC remains fragile under strong attacks because its counterattack relies on a directly corrupted original view and employs a noise-driven hard-gating scheme that cannot adapt to varying corruption severity. To address these limitations, we introduce Multi-view guided Adaptive Counterattack (MAC), which performs counterattacks for multi-view with corruption-aware soft weighting. Specifically, MAC first constructs augmented views of an input image to obtain diverse embeddings. It then performs counterattacks to refine corrupted embeddings of views. Next, MAC adaptively scales the counterattack intensity for each view based on its estimated corruption degree. Finally, the adaptively counterattacked views are aggregated to yield a robust final prediction. Extensive experiments across 20 datasets and diverse attack scenarios demonstrate that MAC substantially improves robustness while preserving high inference speed and memory efficiency with its tuning-free design. Our code is available at https://github.com/sunoh-kim/MAC.
• Abstract（参考訳）: CLIPのような視覚言語モデルは、目覚ましいゼロショット認識能力を達成したが、敵の摂動に対する頑健さは依然として限られている。 テストタイム・アタック(TTC)は、最近CLIPの堅牢性を改善するために、入力イメージを摂動させ、推論中に破損した状態から遠ざけるように提案されている。 しかし、TTCの反撃は直接的に腐敗したオリジナルビューに依存しており、様々な汚職の深刻さに適応できないノイズ駆動型ハードゲーティングスキームを採用しているため、強い攻撃の下でも脆弱なままである。 これらの制約に対処するため,多視点誘導型適応カウンターアタック(MAC)を導入し,マルチビューに対するソフト重み付けによる反撃を行う。 具体的には、MACはまず入力画像の拡張ビューを構築し、多様な埋め込みを得る。 その後、ビューの腐敗した埋め込みを洗練させるために反撃を行う。 次に、MACはその推定汚職度に基づいて各ビューに対する反撃強度を適応的にスケールする。 最後に、適応的に反撃されたビューを集約し、堅牢な最終予測をもたらす。 20のデータセットと多様な攻撃シナリオにわたる大規模な実験により、MACはチューニング不要な設計で高い推論速度とメモリ効率を保ちながら、ロバスト性を大幅に向上することが示された。 私たちのコードはhttps://github.com/sunoh-kim/MACで利用可能です。

関連論文リスト

• PDA: Text-Augmented Defense Framework for Robust Vision-Language Models against Adversarial Image Attacks [5.397723452516847]
  Paraphrase-Decomposition-Aggregation (PDA)は、視覚言語モデル(VLM)のための訓練不要防衛フレームワークである。 PDAはテスト時に即時言い換え、質問分解、一貫性の集約を実行する。 PDAは、競合するクリーンな精度を維持しながら、様々な敵の摂動に対して一貫した堅牢性を得る。
  論文  参考訳（メタデータ） (2026-04-01T15:16:07Z)
• Diversifying Counterattacks: Orthogonal Exploration for Robust CLIP Inference [45.723695657400576]
  反撃の多様性とカバレッジの向上は、テスト時間防衛における敵の堅牢性向上に不可欠である。 直交直交対向攻撃(DOC)は、傾き方向と運動量に基づく更新を組み込むことで、対向最適化を強化する。 平均コサイン類似度に基づく指向性感度スコアを,サンプル識別を改善し,反撃強度を適応的に調節することによりDOCを増強する。
  論文  参考訳（メタデータ） (2025-11-12T07:40:16Z)
• Self-Calibrated Consistency can Fight Back for Adversarial Robustness in Vision-Language Models [31.920092341939593]
  自己キャリブレーション・コンシスタンシー(Self-Calibrated Consistency)は、敵の攻撃に対する効果的なテストタイム防衛である。 SCCは精度を維持しながら、CLIPのゼロショットロバスト性を一貫して改善する。 これらの知見は、CLIPから逆向きに堅牢なパラダイムを確立する大きな可能性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-10-26T18:37:12Z)
• FPT-Noise: Dynamic Scene-Aware Counterattack for Test-Time Adversarial Defense in Vision-Language Models [22.747168689459468]
  我々は、新しいテストタイムディフェンスを提案する: 特徴知覚閾値対攻撃ノイズ(FPT-Noise) FPT-Noiseは、コストのかかる微調整なしにCLIPの対向性を高める。 大規模な実験により、FPT-Noiseは既存のテスト時間防衛法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-10-22T08:29:35Z)
• CLIP is Strong Enough to Fight Back: Test-time Counterattacks towards Zero-shot Adversarial Robustness of CLIP [54.660471826755234]
  分類損失を最大化しようとする悪意のある摂動が、誤った画像に繋がることを示す。 本稿では,CLIPの事前学習したビジョンエンコーダを用いて,推論中の敵画像に対する攻撃を行い,ロバスト性を実現することを提案する。 私たちのパラダイムはシンプルで、トレーニング不要で、テスト時にCLIPを敵攻撃から防御する最初の方法を提供します。
  論文  参考訳（メタデータ） (2025-03-05T15:51:59Z)
• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm [93.80082636284922]
  少数の敵対的攻撃は、数ピクセルを摂動するだけでディープ・ネットワーク(DNN)を騙すことができる。 近年の取り組みは、他の等級のl_infty摂動と組み合わせている。 本稿では,空間的・神経的摂動に対処するホモトピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:11:36Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。