論文の概要: Efficiently Adversarial Examples Generation for Visual-Language Models under Targeted Transfer Scenarios using Diffusion Models
- arxiv url: http://arxiv.org/abs/2404.10335v1
- Date: Tue, 16 Apr 2024 07:19:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 17:43:04.065602
- Title: Efficiently Adversarial Examples Generation for Visual-Language Models under Targeted Transfer Scenarios using Diffusion Models
- Title(参考訳): 拡散モデルを用いた目標移動シナリオ下での視覚言語モデルの効率的な逆例生成
- Authors: Qi Guo, Shanmin Pang, Xiaojun Jia, Qing Guo,
- Abstract要約: 本稿では,自然に制約のない逆の例を生成するAdvDiffVLMを紹介する。
本手法は,既存のトランスファーベース攻撃法と比較して10Xから30Xまでの高速化を実現する。
特にAdvDiffVLMは、GPT-4Vを含む商用VLMをブラックボックス方式で攻撃できる。
- 参考スコア(独自算出の注目度): 14.648969482318252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Targeted transfer-based attacks involving adversarial examples pose a significant threat to large visual-language models (VLMs). However, the state-of-the-art (SOTA) transfer-based attacks incur high costs due to excessive iteration counts. Furthermore, the generated adversarial examples exhibit pronounced adversarial noise and demonstrate limited efficacy in evading defense methods such as DiffPure. To address these issues, inspired by score matching, we introduce AdvDiffVLM, which utilizes diffusion models to generate natural, unrestricted adversarial examples. Specifically, AdvDiffVLM employs Adaptive Ensemble Gradient Estimation to modify the score during the diffusion model's reverse generation process, ensuring the adversarial examples produced contain natural adversarial semantics and thus possess enhanced transferability. Simultaneously, to enhance the quality of adversarial examples further, we employ the GradCAM-guided Mask method to disperse adversarial semantics throughout the image, rather than concentrating them in a specific area. Experimental results demonstrate that our method achieves a speedup ranging from 10X to 30X compared to existing transfer-based attack methods, while maintaining superior quality of adversarial examples. Additionally, the generated adversarial examples possess strong transferability and exhibit increased robustness against adversarial defense methods. Notably, AdvDiffVLM can successfully attack commercial VLMs, including GPT-4V, in a black-box manner.
- Abstract(参考訳): 敵の例を含むターゲット転送ベースの攻撃は、大きな視覚言語モデル(VLM)に重大な脅威をもたらす。
しかし、最先端のSOTA(State-of-the-art)トランスファーベースの攻撃は、過度な反復数のために高いコストを発生させる。
さらに, 生成した逆方向の例は, 明らかな逆方向雑音を示し, DiffPure などの防御方法の回避に限定した効果を示した。
スコアマッチングにインスパイアされたこれらの問題に対処するために,拡散モデルを用いて自然な非制限逆例を生成するAdvDiffVLMを提案する。
具体的には、AdvDiffVLMは適応アンサンブル勾配推定を用いて拡散モデルの逆生成過程のスコアを修正し、生成した逆数例が自然な逆数意味論を含むことを保証する。
同時に、敵対的事例の質を高めるために、特定の領域に集中するのではなく、GradCAM誘導マスク法を用いて、画像全体にわたって敵対的意味論を分散させる。
実験結果から,既存のトランスファーベース攻撃法と比較して10Xから30Xまでの高速化を実現し,対向例の優れた品質を維持した。
さらに, 生成した対人例は強い伝達性を有し, 対人防御法に対するロバスト性を高めた。
特にAdvDiffVLMは、GPT-4Vを含む商用VLMをブラックボックス方式で攻撃できる。
関連論文リスト
- Imperceptible Face Forgery Attack via Adversarial Semantic Mask [59.23247545399068]
本稿では, 対向性, 可視性に優れた対向性例を生成できるASMA(Adversarial Semantic Mask Attack framework)を提案する。
具体的には, 局所的なセマンティック領域の摂動を抑制し, 良好なステルス性を実現する, 対向型セマンティックマスク生成モデルを提案する。
論文 参考訳(メタデータ) (2024-06-16T10:38:11Z) - SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T09:08:50Z) - AdvDiff: Generating Unrestricted Adversarial Examples using Diffusion Models [7.406040859734522]
制限のない敵攻撃は、深層学習モデルや敵防衛技術に深刻な脅威をもたらす。
以前の攻撃法は、しばしば生成モデルのサンプリングに投影された勾配(PGD)を直接注入する。
本稿では,拡散モデルを用いた非制限逆例を生成するAdvDiffと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-07-24T03:10:02Z) - Mist: Towards Improved Adversarial Examples for Diffusion Models [0.8883733362171035]
拡散モデル(DM)は、人工知能によって生成されたコンテンツ、特にアート作品の制作において大きな成功を収めた。
侵害者は、認可されていない人造絵画をDMで模倣することで利益を得ることができる。
近年の研究では、拡散モデルに対する様々な逆例が、これらの著作権侵害に対する効果的な手段である可能性が示唆されている。
論文 参考訳(メタデータ) (2023-05-22T03:43:34Z) - Generating Adversarial Examples with Better Transferability via Masking
Unimportant Parameters of Surrogate Model [6.737574282249396]
非重要マスキングパラメータ(MUP)を用いた転送攻撃における敵例の転送可能性の向上を提案する。
MUPのキーとなるアイデアは、事前訓練されたサロゲートモデルを洗練して、転送ベースの攻撃を強化することである。
論文 参考訳(メタデータ) (2023-04-14T03:06:43Z) - Improving Adversarial Transferability with Scheduled Step Size and Dual
Example [33.00528131208799]
反復型高速勾配符号法により生じる逆例の転送性は,反復数の増加に伴って低下傾向を示すことを示す。
本稿では,スケジューリングステップサイズとデュアルサンプル(SD)を用いて,良性サンプル近傍の対角情報を完全に活用する新しい戦略を提案する。
提案手法は,既存の対向攻撃手法と容易に統合でき,対向移動性が向上する。
論文 参考訳(メタデータ) (2023-01-30T15:13:46Z) - Improving Adversarial Robustness to Sensitivity and Invariance Attacks
with Deep Metric Learning [80.21709045433096]
対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。
距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。
予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
論文 参考訳(メタデータ) (2022-11-04T13:54:02Z) - Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。
本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-08T07:40:55Z) - Boosting Transferability of Targeted Adversarial Examples via
Hierarchical Generative Networks [56.96241557830253]
転送ベースの敵攻撃はブラックボックス設定におけるモデルロバスト性を効果的に評価することができる。
本稿では,異なるクラスを対象にした対角的例を生成する条件生成攻撃モデルを提案する。
提案手法は,既存の手法と比較して,標的となるブラックボックス攻撃の成功率を大幅に向上させる。
論文 参考訳(メタデータ) (2021-07-05T06:17:47Z) - Towards Defending against Adversarial Examples via Attack-Invariant
Features [147.85346057241605]
ディープニューラルネットワーク(DNN)は敵の雑音に弱い。
敵の強靭性は、敵の例を利用して改善することができる。
目に見えない種類の敵の例に基づいて訓練されたモデルは、一般的に、目に見えない種類の敵の例にうまく一般化できない。
論文 参考訳(メタデータ) (2021-06-09T12:49:54Z) - Direction-Aggregated Attack for Transferable Adversarial Examples [10.208465711975242]
深層ニューラルネットワークは、入力に知覚不可能な変化を課すことによって作られる敵の例に弱い。
逆例は、モデルとそのパラメータが利用可能なホワイトボックス設定で最も成功した。
我々は,移動可能な攻撃事例を提供する方向集約型攻撃を提案する。
論文 参考訳(メタデータ) (2021-04-19T09:54:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。