論文の概要: ATAC: Augmentation-Based Test-Time Adversarial Correction for CLIP
- arxiv url: http://arxiv.org/abs/2511.17362v1
- Date: Fri, 21 Nov 2025 16:30:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-24 18:08:19.107728
- Title: ATAC: Augmentation-Based Test-Time Adversarial Correction for CLIP
- Title(参考訳): ATAC:CLIPのAugmentation-based Test-Time Adversarial Correction
- Authors: Linxiang Su, András Balogh,
- Abstract要約: ATACは一貫して非常に高い堅牢性を実現し、従来の最先端の手法を平均で50%近く上回っている。
ATACはCLIPの埋め込み空間におけるテスト時敵防御のための新しいパラダイムにおける効率的な手法である。
- 参考スコア(独自算出の注目度): 3.652509571098291
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite its remarkable success in zero-shot image-text matching, CLIP remains highly vulnerable to adversarial perturbations on images. As adversarial fine-tuning is prohibitively costly, recent works explore various test-time defense strategies; however, these approaches still exhibit limited robustness. In this work, we revisit this problem and propose a simple yet effective strategy: Augmentation-based Test-time Adversarial Correction (ATAC). Our method operates directly in the embedding space of CLIP, calculating augmentation-induced drift vectors to infer a semantic recovery direction and correcting the embedding based on the angular consistency of these latent drifts. Across a wide range of benchmarks, ATAC consistently achieves remarkably high robustness, surpassing that of previous state-of-the-art methods by nearly 50\% on average, all while requiring minimal computational overhead. Furthermore, ATAC retains state-of-the-art robustness in unconventional and extreme settings and even achieves nontrivial robustness against adaptive attacks. Our results demonstrate that ATAC is an efficient method in a novel paradigm for test-time adversarial defenses in the embedding space of CLIP.
- Abstract(参考訳): ゼロショット画像テキストマッチングで顕著な成功を収めたものの、CLIPは画像上の敵対的摂動に対して非常に脆弱である。
敵の微調整は違法にコストがかかるため、最近の研究は様々なテストタイム防衛戦略を探求しているが、これらのアプローチは依然として限定的な堅牢性を示している。
本研究では,この問題を再考し,Augmentation-based Test-time Adversarial Correction (ATAC) という,シンプルながら効果的な戦略を提案する。
提案手法は,CLIPの埋め込み空間内で直接動作し,拡張によって誘導されるドリフトベクトルを計算して意味回復方向を推定し,これらのドリフトの角度整合性に基づいて埋め込みを補正する。
幅広いベンチマークにおいて、ATACは一貫して非常に高い堅牢性を達成し、計算オーバーヘッドを最小限に抑えながら、従来の最先端の手法を平均で50%近く上回っている。
さらに、ATACは非伝統的かつ極端な設定で最先端のロバスト性を維持し、適応攻撃に対する非自明なロバスト性も達成している。
以上の結果から,ATACはCLIPの埋め込み空間におけるテスト時敵防御のための新しいパラダイムにおいて,効率的な手法であることが示された。
関連論文リスト
- TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。
TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。
我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
論文 参考訳(メタデータ) (2024-11-20T08:58:59Z) - Adaptive Gradient Clipping for Robust Federated Learning [8.268485501864939]
本稿では,適応型クリッピング戦略である適応ロバストクリッピング(ARC)を提案し,入力勾配に基づいて動的にクリッピング閾値を調整する。
ARCは、特に高度に異質で対向的な設定において、ロバスト性を大幅に向上させる。
論文 参考訳(メタデータ) (2024-05-23T11:00:31Z) - Improving Robust Generalization by Direct PAC-Bayesian Bound
Minimization [27.31806334022094]
最近の研究では、敵の攻撃に対して訓練されたモデルが、テストセットよりも高い堅牢性を示すという、オーバーフィッティングのような現象が示されている。
本稿では、ロバストなPAC-ベイジアン境界の異なる形式を考察し、モデル後部に関して直接最小化する。
我々は、視覚変換器(ViT)を用いたCIFAR-10/100とImageNetに対するTrH正規化手法を評価し、ベースライン対向ロバスト性アルゴリズムと比較した。
論文 参考訳(メタデータ) (2022-11-22T23:12:00Z) - Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
トレーニングインスタンスの観点から,この現象を考察する。
適応ステップサイズ(ATAS)を用いた逆学習法を提案する。
ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
論文 参考訳(メタデータ) (2022-06-06T08:20:07Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Revisiting and Advancing Fast Adversarial Training Through The Lens of
Bi-Level Optimization [60.72410937614299]
提案手法は,2レベルAT(FAST-BAT)と呼ばれる新しいアルゴリズムセットの設計と解析である。
FAST-BATは、グラデーションサインメソッドや明示的なロバスト正規化を呼ぶことなく、符号ベースの投射降下(PGD)攻撃を防御することができる。
論文 参考訳(メタデータ) (2021-12-23T06:25:36Z) - ROPUST: Improving Robustness through Fine-tuning with Photonic
Processors and Synthetic Gradients [65.52888259961803]
ROPUSTは、頑健な事前学習モデルを活用し、その堅牢性を高めるためのシンプルで効率的な手法である。
我々は,ロバストベンチの4つの攻撃に対して,9つの異なるモデルを用いて実験を行った。
ROPUSTは,最先端の位相探索技術でも有効であることを示す。
論文 参考訳(メタデータ) (2021-07-06T12:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。