論文の概要: R-TPT: Improving Adversarial Robustness of Vision-Language Models through Test-Time Prompt Tuning

• arxiv url: http://arxiv.org/abs/2504.11195v1
• Date: Tue, 15 Apr 2025 13:49:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:12:01.400737
• Title: R-TPT: Improving Adversarial Robustness of Vision-Language Models through Test-Time Prompt Tuning
• Title（参考訳）: R-TPT:テスト時間プロンプトチューニングによる視覚言語モデルの対向ロバスト性の向上
• Authors: Lijun Sheng, Jian Liang, Zilei Wang, Ran He,
• Abstract要約: 視覚言語モデル(VLM)のためのロバストテスト時プロンプトチューニング(R-TPT)を提案する。 R-TPTは、推論段階における敵攻撃の影響を緩和する。 プラグアンドプレイの信頼性に基づく重み付きアンサンブル戦略を導入し,防御強化を図る。
• 参考スコア（独自算出の注目度）: 97.49610356913874
• License:
• Abstract: Vision-language models (VLMs), such as CLIP, have gained significant popularity as foundation models, with numerous fine-tuning methods developed to enhance performance on downstream tasks. However, due to their inherent vulnerability and the common practice of selecting from a limited set of open-source models, VLMs suffer from a higher risk of adversarial attacks than traditional vision models. Existing defense techniques typically rely on adversarial fine-tuning during training, which requires labeled data and lacks of flexibility for downstream tasks. To address these limitations, we propose robust test-time prompt tuning (R-TPT), which mitigates the impact of adversarial attacks during the inference stage. We first reformulate the classic marginal entropy objective by eliminating the term that introduces conflicts under adversarial conditions, retaining only the pointwise entropy minimization. Furthermore, we introduce a plug-and-play reliability-based weighted ensembling strategy, which aggregates useful information from reliable augmented views to strengthen the defense. R-TPT enhances defense against adversarial attacks without requiring labeled training data while offering high flexibility for inference tasks. Extensive experiments on widely used benchmarks with various attacks demonstrate the effectiveness of R-TPT. The code is available in https://github.com/TomSheng21/R-TPT.
• Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)は基礎モデルとして大きな人気を集めており、下流タスクのパフォーマンスを高めるために多数の微調整手法が開発されている。 しかしながら、その固有の脆弱性と、限られたオープンソースモデルから選択する一般的なプラクティスのため、VLMは従来のビジョンモデルよりも敵攻撃のリスクが高い。 既存の防御技術は、通常、トレーニング中の敵の微調整に依存しており、ラベル付きデータを必要とし、下流タスクの柔軟性が欠如している。 これらの制約に対処するため、推論段階における敵攻撃の影響を緩和する堅牢なテスト時プロンプトチューニング(R-TPT)を提案する。 まず、逆境条件下での紛争を提起する用語を排除し、ポイントワイズエントロピーの最小化のみを保持することによって、古典的限界エントロピーの目的を再構築する。 さらに、信頼性の高い拡張ビューから有用な情報を集約して防御を強化する、プラグアンドプレイの信頼性に基づく重み付け戦略を導入する。 R-TPTは、推論タスクに高い柔軟性を提供しながらラベル付きトレーニングデータを必要とすることなく、敵攻撃に対する防御を強化する。 R-TPTの有効性を示すために、様々な攻撃で広く使われているベンチマークの大規模な実験を行った。 コードはhttps://github.com/TomSheng21/R-TPTで公開されている。

関連論文リスト

• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• Efficient and Effective Universal Adversarial Attack against Vision-Language Pre-training Models [14.828324088905772]
  非普遍的敵攻撃は、多くの場合、データインスタンス当たりの計算要求が高いため、リアルタイムオンラインアプリケーションでは実用的ではない。 DO-UAPと呼ばれる直接最適化に基づくUAPアプローチを提案し、高い攻撃性能を維持しながら資源消費を大幅に削減する。
  論文  参考訳（メタデータ） (2024-10-15T14:29:47Z)
• SpecFormer: Guarding Vision Transformer Robustness via Maximum Singular Value Penalization [39.09638432514626]
  ビジョントランスフォーマー(ViT)は、ハイパフォーマンスのため、コンピュータビジョンでの利用が増えているが、敵攻撃に対する脆弱性が懸念されている。 本研究は, 敵攻撃に対するViTsの強化に適したSpecFormerを導入し, 理論的基盤となる。
  論文  参考訳（メタデータ） (2024-01-02T14:27:24Z)
• FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning Attacks in Federated Learning [98.43475653490219]
  フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。 FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。 FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
  論文  参考訳（メタデータ） (2023-12-07T16:56:24Z)
• Robust Feature Inference: A Test-time Defense Strategy using Spectral Projections [12.807619042576018]
  我々はロバスト特徴推論(RFI)と呼ばれる新しいテスト時間防衛戦略を提案する。 RFIは、追加のテスト時間計算なしで既存の(ロバストな)トレーニング手順と簡単に統合できる。 RFIは、適応攻撃や転送攻撃によるロバスト性を継続的に改善することを示す。
  論文  参考訳（メタデータ） (2023-07-21T16:18:58Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• Rapid Plug-in Defenders [17.553905911482655]
  本稿では,Rapid Plug-in Defender(RaPiD)問題に焦点をあてる。 本稿では,RaPiDのためのCeTaD (Consideing Pre-trained Transformers as Defenders) という新しい手法を提案する。 評価の中心は,CeTaDの有効性,伝達性,および一発対向例を含むシナリオにおける異なるコンポーネントの影響を評価することである。
  論文  参考訳（メタデータ） (2023-05-27T06:00:51Z)
• Adversarial Attacks and Defense for Non-Parametric Two-Sample Tests [73.32304304788838]
  本稿では,非パラメトリックTSTの障害モードを逆攻撃により系統的に明らかにする。 TST非依存的な攻撃を可能にするために,異なる種類のテスト基準を協調的に最小化するアンサンブル攻撃フレームワークを提案する。 そこで本研究では,TSTの強化のために,逆対を反復的に生成し,深層カーネルを訓練する最大最小最適化を提案する。
  論文  参考訳（メタデータ） (2022-02-07T11:18:04Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。