論文の概要: One Perturbation is Enough: On Generating Universal Adversarial Perturbations against Vision-Language Pre-training Models

• arxiv url: http://arxiv.org/abs/2406.05491v1
• Date: Sat, 8 Jun 2024 15:01:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 19:25:53.306304
• Title: One Perturbation is Enough: On Generating Universal Adversarial Perturbations against Vision-Language Pre-training Models
• Title（参考訳）: 1つの摂動は十分である:ビジョンランゲージ事前学習モデルに対する普遍的対向摂動の生成について
• Authors: Hao Fang, Jiawei Kong, Wenbo Yu, Bin Chen, Jiawei Li, Shutao Xia, Ke Xu,
• Abstract要約: 大規模画像テキストペアでトレーニングされたビジョンランゲージ事前トレーニングモデルは、悪意のある敵によって作成される敵のサンプルに対して脆弱である。 クロスモーダル条件(C-PGC)を用いたコントラスト学習型摂動発電機を提案する。
• 参考スコア（独自算出の注目度）: 47.14654793461
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Vision-Language Pre-training (VLP) models trained on large-scale image-text pairs have demonstrated unprecedented capability in many practical applications. However, previous studies have revealed that VLP models are vulnerable to adversarial samples crafted by a malicious adversary. While existing attacks have achieved great success in improving attack effect and transferability, they all focus on instance-specific attacks that generate perturbations for each input sample. In this paper, we show that VLP models can be vulnerable to a new class of universal adversarial perturbation (UAP) for all input samples. Although initially transplanting existing UAP algorithms to perform attacks showed effectiveness in attacking discriminative models, the results were unsatisfactory when applied to VLP models. To this end, we revisit the multimodal alignments in VLP model training and propose the Contrastive-training Perturbation Generator with Cross-modal conditions (C-PGC). Specifically, we first design a generator that incorporates cross-modal information as conditioning input to guide the training. To further exploit cross-modal interactions, we propose to formulate the training objective as a multimodal contrastive learning paradigm based on our constructed positive and negative image-text pairs. By training the conditional generator with the designed loss, we successfully force the adversarial samples to move away from its original area in the VLP model's feature space, and thus essentially enhance the attacks. Extensive experiments show that our method achieves remarkable attack performance across various VLP models and Vision-and-Language (V+L) tasks. Moreover, C-PGC exhibits outstanding black-box transferability and achieves impressive results in fooling prevalent large VLP models including LLaVA and Qwen-VL.
• Abstract（参考訳）: 大規模画像テキストペアで訓練された視覚言語前訓練(VLP)モデルは、多くの実用的な応用において前例のない能力を示している。 しかし、以前の研究では、VLPモデルは悪意のある敵によって作られた敵のサンプルに対して脆弱であることが示されている。 既存の攻撃は攻撃効果と転送可能性を改善することに成功しているが、それらはすべて、各入力サンプルに対する摂動を生成するインスタンス固有の攻撃に焦点を当てている。 本稿では,VLPモデルが全ての入力サンプルに対して,新しい種類の普遍的対向摂動(UAP)に対して脆弱であることを示す。 既存のUAPアルゴリズムを移植して攻撃を行うと、識別モデルを攻撃する効果が見られたが、VLPモデルに適用した場合は不満足であった。 そこで我々は,VLPモデルトレーニングにおけるマルチモーダルアライメントを再検討し,クロスモーダル条件(C-PGC)を用いたコントラストトレーニング摂動発電機を提案する。 具体的には、まずクロスモーダル情報を条件入力として組み込んだジェネレータを設計し、トレーニングを指導する。 そこで本研究では,提案手法を,構築した肯定的および否定的な画像テキストペアに基づくマルチモーダルコントラスト学習パラダイムとして定式化することを提案する。 条件付きジェネレータを設計した損失で訓練することにより、VLPモデルの特徴空間における元の領域から離れるように、敵のサンプルを強制的に移動させ、本質的に攻撃を増強する。 広汎な実験により,本手法は様々なVLPモデルと視覚・言語(V+L)タスクにまたがる顕著な攻撃性能を実現することが示された。 さらに、C-PGCは優れたブラックボックス転送性を示し、LLaVAやQwen-VLといった大容量VLPモデルを騙すという印象的な結果が得られる。

関連論文リスト

• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• VLATTACK: Multimodal Adversarial Attacks on Vision-Language Tasks via Pre-trained Models [46.14455492739906]
  VL(Vision-Language)事前訓練モデルは、多くのマルチモーダルタスクにおいて優位性を示している。 既存のアプローチは主に、ホワイトボックス設定下での敵の堅牢性を探究することに焦点を当てている。 本稿では,VLATTACKを用いて,画像とテキストの摂動を単一モードレベルとマルチモードレベルの両方から分離し,対向サンプルを生成する。
  論文  参考訳（メタデータ） (2023-10-07T02:18:52Z)
• Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models [52.530286579915284]
  本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。 伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。 本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:19:21Z)
• Model-tuning Via Prompts Makes NLP Models Adversarially Robust [97.02353907677703]
  Model-tuning Via Prompts (MVP) による対向的ロバスト性の評価 MVPは、標準的な方法よりも平均8%の性能向上を実現している。 また,これらの利得の基盤となるメカニズムの解明も行なっている。
  論文  参考訳（メタデータ） (2023-03-13T17:41:57Z)
• Towards Adversarial Attack on Vision-Language Pre-training Models [15.882687207499373]
  本稿では,V+LモデルとV+Lタスクに対する敵対的攻撃について検討した。 異なる対象や攻撃対象の影響を調べた結果,強力なマルチモーダル攻撃を設計するための指針として,いくつかの重要な観測結果が得られた。
  論文  参考訳（メタデータ） (2022-06-19T12:55:45Z)
• A Prompting-based Approach for Adversarial Example Generation and Robustness Enhancement [18.532308729844598]
  我々は,NLPモデルに侵入する新たなプロンプトベースの敵攻撃を提案する。 悪質な目的によってマスク・アンド・フィリングによって敵の例を生成する。 本手法は, 逆方向のサンプルを生成するのではなく, 大規模トレーニングセットに効率的に適用することができる。
  論文  参考訳（メタデータ） (2022-03-21T03:21:32Z)
• Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble [163.3333439344695]
  Dirichlet Neighborhood Ensemble (DNE) は、ロバストモデルを用いて置換攻撃を防御するランダムな平滑化手法である。 DNEは、単語とその同義語で区切られた凸殻から入力文中の各単語の埋め込みベクトルをサンプリングして仮想文を生成し、訓練データでそれらを増強する。 我々は,提案手法が最近提案した防衛手法を,異なるネットワークアーキテクチャと複数のデータセット間で有意差で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-20T18:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。