論文の概要: Efficient Generation of Targeted and Transferable Adversarial Examples for Vision-Language Models Via Diffusion Models

• arxiv url: http://arxiv.org/abs/2404.10335v4
• Date: Sun, 15 Dec 2024 09:46:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:50:39.917830
• Title: Efficient Generation of Targeted and Transferable Adversarial Examples for Vision-Language Models Via Diffusion Models
• Title（参考訳）: 拡散モデルに基づく視覚言語モデルのための目標・移動可能逆数例の効率的な生成
• Authors: Qi Guo, Shanmin Pang, Xiaojun Jia, Yang Liu, Qing Guo,
• Abstract要約: 大規模視覚言語モデル(VLM)のロバスト性を評価するために、敵対的攻撃を用いることができる。 従来のトランスファーベースの敵攻撃は、高いイテレーション数と複雑なメソッド構造により、高いコストを発生させる。 本稿では, 拡散モデルを用いて, 自然, 制約のない, 対象とする対向的な例を生成するAdvDiffVLMを提案する。
• 参考スコア（独自算出の注目度）: 17.958154849014576
• License:
• Abstract: Adversarial attacks, particularly \textbf{targeted} transfer-based attacks, can be used to assess the adversarial robustness of large visual-language models (VLMs), allowing for a more thorough examination of potential security flaws before deployment. However, previous transfer-based adversarial attacks incur high costs due to high iteration counts and complex method structure. Furthermore, due to the unnaturalness of adversarial semantics, the generated adversarial examples have low transferability. These issues limit the utility of existing methods for assessing robustness. To address these issues, we propose AdvDiffVLM, which uses diffusion models to generate natural, unrestricted and targeted adversarial examples via score matching. Specifically, AdvDiffVLM uses Adaptive Ensemble Gradient Estimation to modify the score during the diffusion model's reverse generation process, ensuring that the produced adversarial examples have natural adversarial targeted semantics, which improves their transferability. Simultaneously, to improve the quality of adversarial examples, we use the GradCAM-guided Mask method to disperse adversarial semantics throughout the image rather than concentrating them in a single area. Finally, AdvDiffVLM embeds more target semantics into adversarial examples after multiple iterations. Experimental results show that our method generates adversarial examples 5x to 10x faster than state-of-the-art transfer-based adversarial attacks while maintaining higher quality adversarial examples. Furthermore, compared to previous transfer-based adversarial attacks, the adversarial examples generated by our method have better transferability. Notably, AdvDiffVLM can successfully attack a variety of commercial VLMs in a black-box environment, including GPT-4V.
• Abstract（参考訳）: 敵攻撃、特にtextbf{targeted}転送ベースの攻撃は、大規模な視覚言語モデル(VLM)の敵の堅牢性を評価するために使用され、デプロイ前に潜在的なセキュリティ欠陥をより徹底的に調べることができる。 しかし, 従来のトランスファーベース対向攻撃は, 高繰り返し数と複雑な手法構造により, 高いコストがかかる。 さらに、敵対的意味論の不自然さのため、生成した敵の例は伝達性が低い。 これらの問題は、ロバスト性を評価する既存の方法の有用性を制限する。 これらの問題に対処するために,拡散モデルを用いて,スコアマッチングによる自然な,制約のない,対象とする対向例を生成するAdvDiffVLMを提案する。 具体的には、AdvDiffVLMはAdaptive Ensemble Gradient Estimationを使用して拡散モデルの逆生成過程のスコアを修正し、生成した対向例が自然な対向的セマンティクスを持つことを保証する。 同時に,GradCAM誘導マスク法を用いて,画像を一箇所に集中させるのではなく,画像全体にわたって敵対的意味論を分散させる。 最後に、AdvDiffVLMは、複数のイテレーションの後に、より多くのターゲットセマンティクスを敵の例に埋め込む。 実験結果から,本手法は高い品質の対数例を維持しつつ,最先端の移動型対数攻撃よりも5倍から10倍高速に対数例を生成することが示された。 さらに, 従来の移動型対向攻撃と比較して, 提案手法によって生成された対向攻撃例の方が転送性に優れていた。 特にAdvDiffVLMは、GPT-4Vを含むブラックボックス環境で様々な商用VLMを攻撃できる。

関連論文リスト

• Imperceptible Face Forgery Attack via Adversarial Semantic Mask [59.23247545399068]
  本稿では, 対向性, 可視性に優れた対向性例を生成できるASMA(Adversarial Semantic Mask Attack framework)を提案する。 具体的には, 局所的なセマンティック領域の摂動を抑制し, 良好なステルス性を実現する, 対向型セマンティックマスク生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-16T10:38:11Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• AdvDiff: Generating Unrestricted Adversarial Examples using Diffusion Models [7.406040859734522]
  制限のない敵攻撃は、深層学習モデルや敵防衛技術に深刻な脅威をもたらす。 以前の攻撃法は、しばしば生成モデルのサンプリングに投影された勾配(PGD)を直接注入する。 本稿では,拡散モデルを用いた非制限逆例を生成するAdvDiffと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T03:10:02Z)
• Mist: Towards Improved Adversarial Examples for Diffusion Models [0.8883733362171035]
  拡散モデル(DM)は、人工知能によって生成されたコンテンツ、特にアート作品の制作において大きな成功を収めた。 侵害者は、認可されていない人造絵画をDMで模倣することで利益を得ることができる。 近年の研究では、拡散モデルに対する様々な逆例が、これらの著作権侵害に対する効果的な手段である可能性が示唆されている。
  論文  参考訳（メタデータ） (2023-05-22T03:43:34Z)
• Generating Adversarial Examples with Better Transferability via Masking Unimportant Parameters of Surrogate Model [6.737574282249396]
  非重要マスキングパラメータ(MUP)を用いた転送攻撃における敵例の転送可能性の向上を提案する。 MUPのキーとなるアイデアは、事前訓練されたサロゲートモデルを洗練して、転送ベースの攻撃を強化することである。
  論文  参考訳（メタデータ） (2023-04-14T03:06:43Z)
• Improving Adversarial Transferability with Scheduled Step Size and Dual Example [33.00528131208799]
  反復型高速勾配符号法により生じる逆例の転送性は,反復数の増加に伴って低下傾向を示すことを示す。 本稿では,スケジューリングステップサイズとデュアルサンプル(SD)を用いて,良性サンプル近傍の対角情報を完全に活用する新しい戦略を提案する。 提案手法は,既存の対向攻撃手法と容易に統合でき,対向移動性が向上する。
  論文  参考訳（メタデータ） (2023-01-30T15:13:46Z)
• Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning [80.21709045433096]
  対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。 距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。 予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
  論文  参考訳（メタデータ） (2022-11-04T13:54:02Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Boosting Transferability of Targeted Adversarial Examples via Hierarchical Generative Networks [56.96241557830253]
  転送ベースの敵攻撃はブラックボックス設定におけるモデルロバスト性を効果的に評価することができる。 本稿では,異なるクラスを対象にした対角的例を生成する条件生成攻撃モデルを提案する。 提案手法は,既存の手法と比較して,標的となるブラックボックス攻撃の成功率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-05T06:17:47Z)
• Towards Defending against Adversarial Examples via Attack-Invariant Features [147.85346057241605]
  ディープニューラルネットワーク(DNN)は敵の雑音に弱い。 敵の強靭性は、敵の例を利用して改善することができる。 目に見えない種類の敵の例に基づいて訓練されたモデルは、一般的に、目に見えない種類の敵の例にうまく一般化できない。
  論文  参考訳（メタデータ） (2021-06-09T12:49:54Z)
• Direction-Aggregated Attack for Transferable Adversarial Examples [10.208465711975242]
  深層ニューラルネットワークは、入力に知覚不可能な変化を課すことによって作られる敵の例に弱い。 逆例は、モデルとそのパラメータが利用可能なホワイトボックス設定で最も成功した。 我々は,移動可能な攻撃事例を提供する方向集約型攻撃を提案する。
  論文  参考訳（メタデータ） (2021-04-19T09:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。