論文の概要: PDA: Text-Augmented Defense Framework for Robust Vision-Language Models against Adversarial Image Attacks

• arxiv url: http://arxiv.org/abs/2604.01010v1
• Date: Wed, 01 Apr 2026 15:16:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:32.05221
• Title: PDA: Text-Augmented Defense Framework for Robust Vision-Language Models against Adversarial Image Attacks
• Title（参考訳）: PDA: 対向画像攻撃に対するロバスト視覚言語モデルのためのテキスト強化防衛フレームワーク
• Authors: Jingning Xu, Haochen Luo, Chen Liu,
• Abstract要約: Paraphrase-Decomposition-Aggregation (PDA)は、視覚言語モデル(VLM)のための訓練不要防衛フレームワークである。 PDAはテスト時に即時言い換え、質問分解、一貫性の集約を実行する。 PDAは、競合するクリーンな精度を維持しながら、様々な敵の摂動に対して一貫した堅牢性を得る。
• 参考スコア（独自算出の注目度）: 5.397723452516847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are vulnerable to adversarial image perturbations. Existing works based on adversarial training against task-specific adversarial examples are computationally expensive and often fail to generalize to unseen attack types. To address these limitations, we introduce Paraphrase-Decomposition-Aggregation (PDA), a training-free defense framework that leverages text augmentation to enhance VLM robustness under diverse adversarial image attacks. PDA performs prompt paraphrasing, question decomposition, and consistency aggregation entirely at test time, thus requiring no modification on the underlying models. To balance robustness and efficiency, we instantiate PDA as invariants that reduce the inference cost while retaining most of its robustness gains. Experiments on multiple VLM architectures and benchmarks for visual question answering, classification, and captioning show that PDA achieves consistent robustness gains against various adversarial perturbations while maintaining competitive clean accuracy, establishing a generic, strong and practical defense framework for VLMs during inference.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、敵対的な画像摂動に対して脆弱である。 タスク固有の敵の例に対する対戦訓練に基づく既存の作業は、計算コストが高く、しばしば目に見えない攻撃タイプへの一般化に失敗する。 これらの制約に対処するため,PDA(Paraphrase-Decomposition-Aggregation)を導入した。 PDAはテスト時に即時言い換え、質問分解、一貫性の集約を実行するため、基礎となるモデルを変更する必要はない。 堅牢性と効率のバランスをとるため、PDAを不変としてインスタンス化し、推論コストを低減し、ロバスト性の向上の大部分を維持します。 複数のVLMアーキテクチャと、視覚的質問応答、分類、キャプションのためのベンチマークの実験により、PDAは、競合するクリーンな精度を維持しながら、様々な敵の摂動に対して一貫した堅牢性を達成し、推論中にVLMの汎用的で強力で実用的な防御フレームワークを確立することが示されている。

関連論文リスト

• Adversarial Defense in Vision-Language Models: An Overview [7.668103158377842]
  VLM(Vision Language Models)の普及により、高度な敵攻撃に対する脆弱性に対する懸念が高まっている。 この課題に対処するために、トレーニング時防衛、テスト時適応防衛、トレーニング自由防衛の3つの主要な防衛パラダイムが提案されている。
  論文  参考訳（メタデータ） (2026-01-18T14:57:51Z)
• Diversifying Counterattacks: Orthogonal Exploration for Robust CLIP Inference [45.723695657400576]
  反撃の多様性とカバレッジの向上は、テスト時間防衛における敵の堅牢性向上に不可欠である。 直交直交対向攻撃(DOC)は、傾き方向と運動量に基づく更新を組み込むことで、対向最適化を強化する。 平均コサイン類似度に基づく指向性感度スコアを,サンプル識別を改善し,反撃強度を適応的に調節することによりDOCを増強する。
  論文  参考訳（メタデータ） (2025-11-12T07:40:16Z)
• Self-Calibrated Consistency can Fight Back for Adversarial Robustness in Vision-Language Models [31.920092341939593]
  自己キャリブレーション・コンシスタンシー(Self-Calibrated Consistency)は、敵の攻撃に対する効果的なテストタイム防衛である。 SCCは精度を維持しながら、CLIPのゼロショットロバスト性を一貫して改善する。 これらの知見は、CLIPから逆向きに堅牢なパラダイムを確立する大きな可能性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-10-26T18:37:12Z)
• Quality Text, Robust Vision: The Role of Language in Enhancing Visual Robustness of Vision-Language Models [17.259725776748482]
  頑健な微調整のための既存の敵の訓練手法は、視覚的堅牢性を高める上での言語の役割を概ね見落としている。 本研究では,QT-AFT(Quality Text-guided Adversarial Fine-Tuning)を提案する。 QT-AFTは、16のゼロショットデータセットで評価された、最先端のゼロショット対向ロバスト性とクリーンな精度を達成する。
  論文  参考訳（メタデータ） (2025-07-22T06:13:30Z)
• CeTAD: Towards Certified Toxicity-Aware Distance in Vision Language Models [16.5022773312661]
  本稿では,ジェイルブレイク攻撃に対する大規模視覚言語モデルの保護を目的とした,普遍的な認証防衛フレームワークを提案する。 まず、悪意のある応答と意図した応答のセマンティックな差異を定量化する新しい距離尺度を提案する。 そして, ランダム化スムーシングを用いて, 形式的堅牢性を保証するための回帰認証手法を考案する。
  論文  参考訳（メタデータ） (2025-03-08T17:33:55Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
  現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。 メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
  論文  参考訳（メタデータ） (2024-04-04T10:10:38Z)
• Few-Shot Adversarial Prompt Learning on Vision-Language Models [62.50622628004134]
  知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。 それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。 本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T18:28:43Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。