論文の概要: Visual Prompting for Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2210.06284v3
• Date: Sat, 15 Apr 2023 23:32:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 23:55:22.002084
• Title: Visual Prompting for Adversarial Robustness
• Title（参考訳）: 対人ロバストネスのための視覚プロンプト
• Authors: Aochuan Chen, Peter Lorenz, Yuguang Yao, Pin-Yu Chen, Sijia Liu
• Abstract要約: 我々は、視覚的プロンプト計算を用いて、テスト時に固定された事前訓練されたモデルの対向ロバスト性を改善する。 本稿では,クラスワイズビジュアルプロンプトを生成するために,クラスワイズビジュアルプロンプト(C-AVP)と呼ばれる新しいVP手法を提案する。 C-AVPは従来のVP法よりも2.1倍の精度向上、2倍の堅牢な精度向上を実現している。
• 参考スコア（独自算出の注目度）: 63.89295305670113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we leverage visual prompting (VP) to improve adversarial robustness of a fixed, pre-trained model at testing time. Compared to conventional adversarial defenses, VP allows us to design universal (i.e., data-agnostic) input prompting templates, which have plug-and-play capabilities at testing time to achieve desired model performance without introducing much computation overhead. Although VP has been successfully applied to improving model generalization, it remains elusive whether and how it can be used to defend against adversarial attacks. We investigate this problem and show that the vanilla VP approach is not effective in adversarial defense since a universal input prompt lacks the capacity for robust learning against sample-specific adversarial perturbations. To circumvent it, we propose a new VP method, termed Class-wise Adversarial Visual Prompting (C-AVP), to generate class-wise visual prompts so as to not only leverage the strengths of ensemble prompts but also optimize their interrelations to improve model robustness. Our experiments show that C-AVP outperforms the conventional VP method, with 2.1X standard accuracy gain and 2X robust accuracy gain. Compared to classical test-time defenses, C-AVP also yields a 42X inference time speedup.
• Abstract（参考訳）: 本研究では,視覚プロンプト(vp)を利用して,テスト時の固定された事前学習モデルの敵対的ロバスト性を改善する。 従来の敵対的防御と比べて、vpは、多くの計算オーバーヘッドを導入することなく、望ましいモデルパフォーマンスを達成するためにテスト時にプラグアンドプレイ機能を持つユニバーサル(データ非依存)入力プロンプトテンプレートを設計することができます。 VPはモデル一般化の改善に成功しているが、それが敵の攻撃に対する防御にどのように使用できるかは解明されていない。 本稿では,バニラVPアプローチが,サンプル特異的な対向的摂動に対する頑健な学習能力に欠けるため,対向防御に有効でないことを示す。 これを回避するために,クラスワイド・アドバイザリ・ビジュアル・プロンプト(C-AVP)と呼ばれる新しいVP手法を提案し,アンサンブル・プロンプトの強みを利用するだけでなく,それらの相互関係を最適化してモデルロバスト性を向上させる。 実験の結果,C-AVPは標準精度2.1倍,頑健さ2倍の精度で従来のVP法より優れていた。 古典的なテストタイムディフェンスと比較すると、C-AVPは42倍の推論タイムスピードアップをもたらす。

関連論文リスト

• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• Towards Robust Vision Transformer via Masked Adaptive Ensemble [23.986968861837813]
  対戦訓練(AT)は、敵攻撃に対するビジョントランスフォーマー(ViT)の堅牢性を向上させるのに役立つ。 本稿では,新たに開発した適応アンサンブルでブリッジされた検出器と分類器を含む新しいViTアーキテクチャを提案する。 CIFAR-10における我々のViTアーキテクチャは, それぞれ90.3%, 49.8%の正正正正正正正正正正正正正正正正正正正正正正正正正正正則を達成している。
  論文  参考訳（メタデータ） (2024-07-22T05:28:29Z)
• Improving Adversarial Robustness via Decoupled Visual Representation Masking [65.73203518658224]
  本稿では,特徴分布の観点から,ロバストな特徴の2つの新しい特性を強調した。 現状の防衛手法は、上記の2つの問題にうまく対処することを目的としている。 具体的には、分離された視覚的表現マスキングに基づく、シンプルだが効果的な防御法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T13:29:41Z)
• One Perturbation is Enough: On Generating Universal Adversarial Perturbations against Vision-Language Pre-training Models [47.14654793461]
  クロスモーダル条件 (C-PGC) を備えたコントラスト学習型摂動発電機を提案する。 C-PGCは、効果的なガイダンスとして、一方的な情報と横断的な情報の両方を取り入れている。 実験の結果、C-PGCは敵のサンプルを元の領域から遠ざけることに成功した。
  論文  参考訳（メタデータ） (2024-06-08T15:01:54Z)
• Revisiting the Robust Generalization of Adversarial Prompt Tuning [4.033827046965844]
  本稿では,画像とテキストの特徴のアライメントを高めるために,適応型一貫性誘導型適応型適応型適応プロンプトチューニング(CAPT)フレームワークを提案する。 我々は14のデータセットと4つのデータ空間をまたいだ実験を行い、CAPTが他の最先端の適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-18T02:54:41Z)
• Robust Feature Inference: A Test-time Defense Strategy using Spectral Projections [12.807619042576018]
  我々はロバスト特徴推論(RFI)と呼ばれる新しいテスト時間防衛戦略を提案する。 RFIは、追加のテスト時間計算なしで既存の(ロバストな)トレーニング手順と簡単に統合できる。 RFIは、適応攻撃や転送攻撃によるロバスト性を継続的に改善することを示す。
  論文  参考訳（メタデータ） (2023-07-21T16:18:58Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。