論文の概要: CLIP is Strong Enough to Fight Back: Test-time Counterattacks towards Zero-shot Adversarial Robustness of CLIP

• arxiv url: http://arxiv.org/abs/2503.03613v1
• Date: Wed, 05 Mar 2025 15:51:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:51:58.995068
• Title: CLIP is Strong Enough to Fight Back: Test-time Counterattacks towards Zero-shot Adversarial Robustness of CLIP
• Title（参考訳）: CLIPは反撃に十分である:CLIPのゼロショット対逆ロバスト性に対するテスト時反撃
• Authors: Songlong Xing, Zhengyu Zhao, Nicu Sebe,
• Abstract要約: 分類損失を最大化しようとする悪意のある摂動が、誤った画像に繋がることを示す。 本稿では,CLIPの事前学習したビジョンエンコーダを用いて,推論中の敵画像に対する攻撃を行い,ロバスト性を実現することを提案する。 私たちのパラダイムはシンプルで、トレーニング不要で、テスト時にCLIPを敵攻撃から防御する最初の方法を提供します。
• 参考スコア（独自算出の注目度）: 54.660471826755234
• License:
• Abstract: Despite its prevalent use in image-text matching tasks in a zero-shot manner, CLIP has been shown to be highly vulnerable to adversarial perturbations added onto images. Recent studies propose to finetune the vision encoder of CLIP with adversarial samples generated on the fly, and show improved robustness against adversarial attacks on a spectrum of downstream datasets, a property termed as zero-shot robustness. In this paper, we show that malicious perturbations that seek to maximise the classification loss lead to `falsely stable' images, and propose to leverage the pre-trained vision encoder of CLIP to counterattack such adversarial images during inference to achieve robustness. Our paradigm is simple and training-free, providing the first method to defend CLIP from adversarial attacks at test time, which is orthogonal to existing methods aiming to boost zero-shot adversarial robustness of CLIP. We conduct experiments across 16 classification datasets, and demonstrate stable and consistent gains compared to test-time defence methods adapted from existing adversarial robustness studies that do not rely on external networks, without noticeably impairing performance on clean images. We also show that our paradigm can be employed on CLIP models that have been adversarially finetuned to further enhance their robustness at test time. Our code is available \href{https://github.com/Sxing2/CLIP-Test-time-Counterattacks}{here}.
• Abstract（参考訳）: ゼロショット方式で画像テキストマッチングタスクに広く用いられているにもかかわらず、CLIPは画像に付加される対向的摂動に対して非常に脆弱であることが示されている。 近年の研究では、CLIPの視覚エンコーダをフライで生成した敵のサンプルで微調整し、下流データセットのスペクトルに対する敵の攻撃に対する堅牢性の向上を示す。 本稿では,分類損失を最大化しようとする悪質な摂動が,CLIPの事前学習したビジョンエンコーダを利用して,推論中の敵画像に対抗し,ロバスト性を実現することを提案する。 このパラダイムは,CLIPのゼロショット対逆ロバスト性を高めることを目的とした既存の手法と直交する,テスト時にCLIPを敵攻撃から防御する最初の方法である。 我々は16の分類データセットにわたる実験を行い、クリーンな画像の性能を著しく損なうことなく、外部ネットワークに依存しない既存の対向ロバストネス研究から適用したテスト時防御手法と比較して安定かつ一貫した利得を示す。 また、我々のパラダイムは、テスト時の堅牢性をさらに向上するために、逆さまに微調整されたCLIPモデルにも適用可能であることも示しています。 私たちのコードは \href{https://github.com/Sxing2/CLIP-Test-time-Counter attacks}{here} で利用可能です。

関連論文リスト

• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• FACTUAL: A Novel Framework for Contrastive Learning Based Robust SAR Image Classification [10.911464455072391]
  FACTUALは、逆行訓練と堅牢なSAR分類のためのコントラストラーニングフレームワークである。 本モデルでは, 洗浄試料の99.7%, 摂動試料の89.6%の精度が得られた。
  論文  参考訳（メタデータ） (2024-04-04T06:20:22Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。