論文の概要: SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation
- arxiv url: http://arxiv.org/abs/2312.04913v1
- Date: Fri, 8 Dec 2023 09:08:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 15:35:47.787220
- Title: SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation
- Title（参考訳）: SA-Attack:自己拡張によるビジョンランゲージ事前学習モデルの逆変換性の向上
- Authors: Bangyan He, Xiaojun Jia, Siyuan Liang, Tianrui Lou, Yang Liu and
Xiaochun Cao
- Abstract要約: ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
- 参考スコア（独自算出の注目度）: 56.622250514119294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current Visual-Language Pre-training (VLP) models are vulnerable to
adversarial examples. These adversarial examples present substantial security
risks to VLP models, as they can leverage inherent weaknesses in the models,
resulting in incorrect predictions. In contrast to white-box adversarial
attacks, transfer attacks (where the adversary crafts adversarial examples on a
white-box model to fool another black-box model) are more reflective of
real-world scenarios, thus making them more meaningful for research. By
summarizing and analyzing existing research, we identified two factors that can
influence the efficacy of transfer attacks on VLP models: inter-modal
interaction and data diversity. Based on these insights, we propose a
self-augment-based transfer attack method, termed SA-Attack. Specifically,
during the generation of adversarial images and adversarial texts, we apply
different data augmentation methods to the image modality and text modality,
respectively, with the aim of improving the adversarial transferability of the
generated adversarial images and texts. Experiments conducted on the FLickr30K
and COCO datasets have validated the effectiveness of our method. Our code will
be available after this paper is accepted.
- Abstract（参考訳）: 現在のVisual-Language Pre-Training(VLP)モデルは、敵の例に弱い。
これらの敵対的な例はVLPモデルに重大なセキュリティリスクをもたらし、モデル固有の弱点を活用でき、誤った予測をもたらす。
ホワイトボックスの敵対攻撃とは対照的に、トランスファーアタック(敵が他のブラックボックスのモデルを騙すためにホワイトボックスのモデルに逆行する例)は現実世界のシナリオをより反映しており、研究にとってより意味のあるものである。
既存の研究を要約し分析することにより、VLPモデルにおける転送攻撃の有効性に影響を与える2つの要因を同定した。
これらの知見に基づいて,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
具体的には, 逆画像と逆テキストの生成において, それぞれ異なるデータ拡張手法を画像モダリティとテキストモダリティに適用し, 生成された逆画像とテキストの逆転送性を向上させることを目的としている。
FLickr30KとCOCOデータセットを用いて実験を行い,本手法の有効性を検証した。
この論文が受け入れられた後、私たちのコードは利用可能になります。
関連論文リスト
- Chain of Attack: On the Robustness of Vision-Language Models Against Transfer-Based Adversarial Attacks [34.40254709148148]
事前学習された視覚言語モデル(VLM)は、画像および自然言語理解において顕著な性能を示した。
彼らの潜在的な安全性と堅牢性の問題は、敵がシステムを回避し、悪意のある攻撃を通じて有害なコンテンツを生成することを懸念する。
本稿では,マルチモーダルなセマンティック・アップデートに基づいて,敵対的事例の生成を反復的に促進するアタック・チェーン(CoA)を提案する。
論文 参考訳（メタデータ） (2024-11-24T05:28:07Z) - Feedback-based Modal Mutual Search for Attacking Vision-Language Pre-training Models [8.943713711458633]
我々は、フィードバックベースのモーダル・ミューチュアル・サーチ(FMMS)と呼ばれる新たな攻撃パラダイムを提案する。
FMMSは、マッチした画像とテキストのペアをランダムに描画しながら、特徴空間に不一致のペアを描画することを目的としている。
これは、ターゲットモデルフィードバックを利用して、マルチモーダリティの逆境を探索する最初の試みである。
論文 参考訳（メタデータ） (2024-08-27T02:31:39Z) - MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。
本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。
異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
論文 参考訳（メタデータ） (2024-06-13T15:55:04Z) - OT-Attack: Enhancing Adversarial Transferability of Vision-Language
Models via Optimal Transport Optimization [65.57380193070574]
視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。
近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。
本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
論文 参考訳（メタデータ） (2023-12-07T16:16:50Z) - Set-level Guidance Attack: Boosting Adversarial Transferability of
Vision-Language Pre-training Models [52.530286579915284]
本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。
伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。
本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
論文 参考訳（メタデータ） (2023-07-26T09:19:21Z) - Rethinking Model Ensemble in Transfer-based Adversarial Attacks [46.82830479910875]
転送可能性を改善する効果的な戦略は、モデルのアンサンブルを攻撃することである。
これまでの作業は、単に異なるモデルの出力を平均化するだけであった。
我々は、より移動可能な敵の例を生成するために、CWA(Common Weakness Attack)を提案する。
論文 参考訳（メタデータ） (2023-03-16T06:37:16Z) - Learning to Learn Transferable Attack [77.67399621530052]
転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。
本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。
提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
論文 参考訳（メタデータ） (2021-12-10T07:24:21Z) - Harnessing Perceptual Adversarial Patches for Crowd Counting [92.79051296850405]
群衆のカウントは、物理的な世界の敵の例に弱い。
本稿では,モデル間での知覚的特徴の共有を学習するためのPAP(Perceptual Adrial Patch)生成フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-16T13:51:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。