論文の概要: Efficiently Adversarial Examples Generation for Visual-Language Models under Targeted Transfer Scenarios using Diffusion Models
- arxiv url: http://arxiv.org/abs/2404.10335v2
- Date: Thu, 18 Apr 2024 13:34:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 13:50:01.563610
- Title: Efficiently Adversarial Examples Generation for Visual-Language Models under Targeted Transfer Scenarios using Diffusion Models
- Title(参考訳): 拡散モデルを用いた目標移動シナリオ下での視覚言語モデルの効率的な逆例生成
- Authors: Qi Guo, Shanmin Pang, Xiaojun Jia, Qing Guo,
- Abstract要約: 本稿では,自然に制約のない逆の例を生成するAdvDiffVLMを紹介する。
本手法は,既存のトランスファーベース攻撃法と比較して10Xから30Xまでの高速化を実現する。
特にAdvDiffVLMは、GPT-4Vを含む商用VLMをブラックボックス方式で攻撃できる。
- 参考スコア(独自算出の注目度): 14.648969482318252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Targeted transfer-based attacks involving adversarial examples pose a significant threat to large visual-language models (VLMs). However, the state-of-the-art (SOTA) transfer-based attacks incur high costs due to excessive iteration counts. Furthermore, the generated adversarial examples exhibit pronounced adversarial noise and demonstrate limited efficacy in evading defense methods such as DiffPure. To address these issues, inspired by score matching, we introduce AdvDiffVLM, which utilizes diffusion models to generate natural, unrestricted adversarial examples. Specifically, AdvDiffVLM employs Adaptive Ensemble Gradient Estimation to modify the score during the diffusion model's reverse generation process, ensuring the adversarial examples produced contain natural adversarial semantics and thus possess enhanced transferability. Simultaneously, to enhance the quality of adversarial examples further, we employ the GradCAM-guided Mask method to disperse adversarial semantics throughout the image, rather than concentrating them in a specific area. Experimental results demonstrate that our method achieves a speedup ranging from 10X to 30X compared to existing transfer-based attack methods, while maintaining superior quality of adversarial examples. Additionally, the generated adversarial examples possess strong transferability and exhibit increased robustness against adversarial defense methods. Notably, AdvDiffVLM can successfully attack commercial VLMs, including GPT-4V, in a black-box manner.
- Abstract(参考訳): 敵の例を含むターゲット転送ベースの攻撃は、大きな視覚言語モデル(VLM)に重大な脅威をもたらす。
しかし、最先端のSOTA(State-of-the-art)トランスファーベースの攻撃は、過度な反復数のために高いコストを発生させる。
さらに, 生成した逆方向の例は, 明らかな逆方向雑音を示し, DiffPure などの防御方法の回避に限定した効果を示した。
スコアマッチングにインスパイアされたこれらの問題に対処するために,拡散モデルを用いて自然な非制限逆例を生成するAdvDiffVLMを提案する。
具体的には、AdvDiffVLMは適応アンサンブル勾配推定を用いて拡散モデルの逆生成過程のスコアを修正し、生成した逆数例が自然な逆数意味論を含むことを保証する。
同時に、敵対的事例の質を高めるために、特定の領域に集中するのではなく、GradCAM誘導マスク法を用いて、画像全体にわたって敵対的意味論を分散させる。
実験結果から,既存のトランスファーベース攻撃法と比較して10Xから30Xまでの高速化を実現し,対向例の優れた品質を維持した。
さらに, 生成した対人例は強い伝達性を有し, 対人防御法に対するロバスト性を高めた。
特にAdvDiffVLMは、GPT-4Vを含む商用VLMをブラックボックス方式で攻撃できる。
関連論文リスト
- GE-AdvGAN: Improving the transferability of adversarial samples by
gradient editing-based adversarial generative model [69.71629949747884]
GAN(Generative Adversarial Networks)のような逆生成モデルは、様々な種類のデータを生成するために広く応用されている。
本研究では, GE-AdvGAN という新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-11T16:43:16Z) - SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T09:08:50Z) - Set-level Guidance Attack: Boosting Adversarial Transferability of
Vision-Language Pre-training Models [52.530286579915284]
本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。
伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。
本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
論文 参考訳(メタデータ) (2023-07-26T09:19:21Z) - AdvDiff: Generating Unrestricted Adversarial Examples using Diffusion
Models [8.323647730916635]
制限のない敵攻撃は、ディープラーニングモデルや敵防衛技術に深刻な脅威をもたらす。
従来の攻撃方法は、理論上は証明できないGAN(Generative Adversarial Networks)を利用することが多い。
本稿では,拡散モデルを用いた非制限逆例を生成するAdvDiffと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-07-24T03:10:02Z) - Mist: Towards Improved Adversarial Examples for Diffusion Models [0.8883733362171035]
拡散モデル(DM)は、人工知能によって生成されたコンテンツ、特にアート作品の制作において大きな成功を収めた。
侵害者は、認可されていない人造絵画をDMで模倣することで利益を得ることができる。
近年の研究では、拡散モデルに対する様々な逆例が、これらの著作権侵害に対する効果的な手段である可能性が示唆されている。
論文 参考訳(メタデータ) (2023-05-22T03:43:34Z) - Generating Adversarial Examples with Better Transferability via Masking
Unimportant Parameters of Surrogate Model [6.737574282249396]
非重要マスキングパラメータ(MUP)を用いた転送攻撃における敵例の転送可能性の向上を提案する。
MUPのキーとなるアイデアは、事前訓練されたサロゲートモデルを洗練して、転送ベースの攻撃を強化することである。
論文 参考訳(メタデータ) (2023-04-14T03:06:43Z) - The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for
Improving Adversarial Training [72.39526433794707]
敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。
本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。
本手法は,最先端のロバスト性および自然な精度を実現する。
論文 参考訳(メタデータ) (2022-11-01T15:24:26Z) - Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。
本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-08T07:40:55Z) - Boosting the Transferability of Video Adversarial Examples via Temporal
Translation [82.0745476838865]
敵の例は転送可能であり、現実世界のアプリケーションにおけるブラックボックス攻撃に対して実現可能である。
本稿では,一組の時間的翻訳ビデオクリップ上での対向的摂動を最適化する時間的翻訳攻撃手法を提案する。
Kinetics-400 データセットと UCF-101 データセットを用いた実験により,本手法がビデオ対向例の転送可能性を大幅に向上することを示した。
論文 参考訳(メタデータ) (2021-10-18T07:52:17Z) - Direction-Aggregated Attack for Transferable Adversarial Examples [10.208465711975242]
深層ニューラルネットワークは、入力に知覚不可能な変化を課すことによって作られる敵の例に弱い。
逆例は、モデルとそのパラメータが利用可能なホワイトボックス設定で最も成功した。
我々は,移動可能な攻撃事例を提供する方向集約型攻撃を提案する。
論文 参考訳(メタデータ) (2021-04-19T09:54:56Z) - Adversarial example generation with AdaBelief Optimizer and Crop
Invariance [8.404340557720436]
敵攻撃は、安全クリティカルなアプリケーションにおいて堅牢なモデルを評価し、選択するための重要な方法である。
本稿では,AdaBelief Iterative Fast Gradient Method (ABI-FGM)とCrop-Invariant attack Method (CIM)を提案する。
我々の手法は、最先端の勾配に基づく攻撃法よりも成功率が高い。
論文 参考訳(メタデータ) (2021-02-07T06:00:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。