論文の概要: TTP: Test-Time Padding for Adversarial Detection and Robust Adaptation on Vision-Language Models

• arxiv url: http://arxiv.org/abs/2512.16523v1
• Date: Thu, 18 Dec 2025 13:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:32.075814
• Title: TTP: Test-Time Padding for Adversarial Detection and Robust Adaptation on Vision-Language Models
• Title（参考訳）: TTP:視覚言語モデルにおける逆検出とロバスト適応のためのテスト時間パディング
• Authors: Zhiwei Li, Yitian Pang, Weining Wang, Zhenan Sun, Qi Li,
• Abstract要約: 本稿では, 対向検出を行う軽量な防御フレームワークであるTest-Time Padding (TTP) を提案する。 TTPは最先端のテスト時間防衛を一貫して上回り、クリーンな精度を損なうことなく敵の堅牢性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 32.85951917559796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs), such as CLIP, have achieved impressive zero-shot recognition performance but remain highly susceptible to adversarial perturbations, posing significant risks in safety-critical scenarios. Previous training-time defenses rely on adversarial fine-tuning, which requires labeled data and costly retraining, while existing test-time strategies fail to reliably distinguish between clean and adversarial inputs, thereby preventing both adversarial robustness and clean accuracy from reaching their optimum. To address these limitations, we propose Test-Time Padding (TTP), a lightweight defense framework that performs adversarial detection followed by targeted adaptation at inference. TTP identifies adversarial inputs via the cosine similarity shift between CLIP feature embeddings computed before and after spatial padding, yielding a universal threshold for reliable detection across architectures and datasets. For detected adversarial cases, TTP employs trainable padding to restore disrupted attention patterns, coupled with a similarity-aware ensemble strategy for a more robust final prediction. For clean inputs, TTP leaves them unchanged by default or optionally integrates existing test-time adaptation techniques for further accuracy gains. Comprehensive experiments on diverse CLIP backbones and fine-grained benchmarks show that TTP consistently surpasses state-of-the-art test-time defenses, delivering substantial improvements in adversarial robustness without compromising clean accuracy. The code for this paper will be released soon.
• Abstract（参考訳）: ビジョンランゲージモデル(VLM)は、CLIPのような印象的なゼロショット認識性能を達成しているが、敵の摂動に非常に敏感であり、安全クリティカルなシナリオに重大なリスクをもたらしている。 既存のテストタイム戦略では、クリーンな入力と逆の入力を確実に区別することができず、敵の堅牢性とクリーンな精度の両方が最適に到達するのを防いでいる。 これらの制約に対処するため,本研究では,対向検出を行う軽量な防御フレームワークであるTest-Time Padding (TTP)を提案する。 TTPは、空間パディングの前後で計算されたCLIP特徴埋め込み間のコサイン類似性シフトによる敵入力を特定し、アーキテクチャやデータセットをまたいだ信頼性検出のための普遍的なしきい値を与える。 検出された敵のケースに対しては、TTPはトレーニング可能なパディングを使用して、混乱した注意パターンを復元し、より堅牢な最終予測のために類似性を認識したアンサンブル戦略を併用する。 クリーンな入力のために、TTPはそれらをデフォルトで変更するか、あるいはオプションで既存のテスト時間適応技術を統合して、さらなる精度向上を実現している。 多様なCLIPバックボーンときめ細かいベンチマークに関する包括的な実験は、TTPが最先端のテストタイムディフェンスを一貫して上回り、クリーンな精度を損なうことなく、敵のロバスト性を大幅に改善したことを示している。 この論文のコードはまもなく公開される。

関連論文リスト

• R-TPT: Improving Adversarial Robustness of Vision-Language Models through Test-Time Prompt Tuning [69.72249695674665]
  視覚言語モデル(VLM)のためのロバストテスト時プロンプトチューニング(R-TPT)を提案する。 R-TPTは、推論段階における敵攻撃の影響を緩和する。 プラグアンドプレイの信頼性に基づく重み付きアンサンブル戦略を導入し,防御強化を図る。
  論文  参考訳（メタデータ） (2025-04-15T13:49:31Z)
• Deep Positive-Negative Prototypes for Adversarially Robust Discriminative Prototypical Learning [0.24999074238880484]
  本稿では,Adv-DPNP(Adversarially Training Deep Positive-Negative Prototypes)という新しいフレームワークを提案する。 Adv-DPNPは、差別的プロトタイプベースの学習と敵対訓練を統合している。 以上の結果から,Adv-DPNPは重大度および汚職種別の平均精度が最も高いことを示す。
  論文  参考訳（メタデータ） (2025-04-03T15:42:58Z)
• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• The Pitfalls and Promise of Conformal Inference Under Adversarial Attacks [90.52808174102157]
  医療画像や自律運転などの安全クリティカルな応用においては、高い敵の堅牢性を維持し、潜在的敵の攻撃から保護することが不可欠である。 敵対的に訓練されたモデルに固有の不確実性に関して、注目すべき知識ギャップが残っている。 本研究では,共形予測(CP)の性能を標準対向攻撃の文脈で検証することにより,ディープラーニングモデルの不確実性について検討する。
  論文  参考訳（メタデータ） (2024-05-14T18:05:19Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Adversarial Attacks and Defense for Non-Parametric Two-Sample Tests [73.32304304788838]
  本稿では,非パラメトリックTSTの障害モードを逆攻撃により系統的に明らかにする。 TST非依存的な攻撃を可能にするために,異なる種類のテスト基準を協調的に最小化するアンサンブル攻撃フレームワークを提案する。 そこで本研究では,TSTの強化のために,逆対を反復的に生成し,深層カーネルを訓練する最大最小最適化を提案する。
  論文  参考訳（メタデータ） (2022-02-07T11:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。