論文の概要: FPT-Noise: Dynamic Scene-Aware Counterattack for Test-Time Adversarial Defense in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2510.20856v1
• Date: Wed, 22 Oct 2025 08:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.334994
• Title: FPT-Noise: Dynamic Scene-Aware Counterattack for Test-Time Adversarial Defense in Vision-Language Models
• Title（参考訳）: FPTノイズ:視覚・言語モデルにおけるテスト時間対角防御のための動的シーンアウェア・カウンタアタック
• Authors: Jia Deng, Jin Li, Zhenhua Zhao, Shaowei Wang,
• Abstract要約: 我々は、新しいテストタイムディフェンスを提案する: 特徴知覚閾値対攻撃ノイズ(FPT-Noise) FPT-Noiseは、コストのかかる微調整なしにCLIPの対向性を高める。 大規模な実験により、FPT-Noiseは既存のテスト時間防衛法よりも大幅に優れていることが示された。
• 参考スコア（独自算出の注目度）: 22.747168689459468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs), such as CLIP, have demonstrated remarkable zero-shot generalizability across diverse downstream tasks. However, recent studies have revealed that VLMs, including CLIP, are highly vulnerable to adversarial attacks, particularly on their visual modality. Traditional methods for improving adversarial robustness, such as adversarial training, involve extensive retraining and can be computationally expensive. In this paper, we propose a new Test-Time defense: Feature Perception Threshold Counterattack Noise (FPT-Noise), which enhances the adversarial robustness of CLIP without costly fine-tuning. Our core contributions are threefold: First, we introduce a Dynamic Feature Modulator that dynamically generate an image-specific and attack-adaptive noise intensity parameter. Second, We reanalyzed the image features of CLIP. When images are exposed to different levels of noise, clean images and adversarial images exhibit distinct rates of feature change. We established a feature perception threshold to distinguish clean images from attacked ones. Finally, we integrate a Scene-Aware Regulation guided by a stability threshold and leverage Test-Time Transformation Ensembling (TTE) to further mitigate the impact of residual noise and enhance robustness.Extensive experimentation has demonstrated that FPT-Noise significantly outperforms existing Test-Time defense methods, boosting average robust accuracy from 0.07% to 56.86% under AutoAttack while maintaining high performance on clean images (-1.1%). The code will be made public following the publication of the study. The code will be made public following the publication of the study.
• Abstract（参考訳）: CLIP のような視覚言語モデル (VLM) は、様々な下流タスクにまたがる顕著なゼロショットの一般化性を実証している。 しかし、最近の研究では、CLIPを含むVLMは、特に視覚的モダリティにおいて、敵の攻撃に対して非常に脆弱であることが明らかになっている。 敵の強靭性を改善する伝統的な手法、例えば敵の訓練は、広範囲な再訓練を伴い、計算コストがかかる。 本稿では,CLIPの対角的ロバスト性を高めるために,コストのかかる微調整を伴わない新しいテストタイムディフェンス(FPT-Noise)を提案する。 まず、画像固有および攻撃適応雑音強度パラメータを動的に生成する動的特徴変調器を導入する。 第2に,CLIPのイメージ機能を再解析した。 異なるレベルのノイズにさらされると、クリーンな画像と敵対的な画像が特徴変化の異なる割合を示す。 クリーン画像と攻撃画像とを識別する特徴知覚閾値を確立した。 最後に、安定しきい値に導かれたシーンアウェアレギュレーションを統合し、テスト時間変換(TTE)を活用し、残音の影響をさらに緩和し、ロバスト性を高めることを目的として、大規模な実験により、FPT-Noiseが既存のテスト時間防御法を著しく上回り、オートアタックの下で平均ロバスト精度を0.07%から56.86%向上し、クリーンな画像(-1.1%)の性能を維持しながら、FPT-Noiseが平均ロバスト精度を0.07%から56.86%向上させることを示した。 コードは研究発表後に公表される。 コードは研究発表後に公表される。

関連論文リスト

• Test-Time Defense Against Adversarial Attacks via Stochastic Resonance of Latent Ensembles [42.57676672281981]
  敵攻撃に対するテスト時間防御機構を提案する。 モデルの予測を著しく変える、知覚できないイメージの摂動。 本研究では,画像分類における精度損失の68.1%,ステレオマッチングでは71.9%,光学フローでは29.2%まで回復することを示した。
  論文  参考訳（メタデータ） (2025-10-03T17:57:25Z)
• CLIP is Strong Enough to Fight Back: Test-time Counterattacks towards Zero-shot Adversarial Robustness of CLIP [54.660471826755234]
  分類損失を最大化しようとする悪意のある摂動が、誤った画像に繋がることを示す。 本稿では,CLIPの事前学習したビジョンエンコーダを用いて,推論中の敵画像に対する攻撃を行い,ロバスト性を実現することを提案する。 私たちのパラダイムはシンプルで、トレーニング不要で、テスト時にCLIPを敵攻撃から防御する最初の方法を提供します。
  論文  参考訳（メタデータ） (2025-03-05T15:51:59Z)
• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• Confidence-aware Denoised Fine-tuning of Off-the-shelf Models for Certified Robustness [56.2479170374811]
  我々はFT-CADIS(Fun Fine-Tuning with Confidence-Aware Denoized Image Selection)を紹介する。 FT-CADISは、既成の分類器の信頼性が、視覚的平滑化中の幻覚像を効果的に識別できるという観察に着想を得たものである。 様々なベンチマークにおいて、すべての$ell$-adversary半径にわたる偏微分平滑化法のうち、最先端の証明されたロバスト性を確立している。
  論文  参考訳（メタデータ） (2024-11-13T09:13:20Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。