論文の概要: AICAttack: Adversarial Image Captioning Attack with Attention-Based
Optimization
- arxiv url: http://arxiv.org/abs/2402.11940v1
- Date: Mon, 19 Feb 2024 08:27:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:43:32.396384
- Title: AICAttack: Adversarial Image Captioning Attack with Attention-Based
Optimization
- Title(参考訳): AICAttack: 注意に基づく最適化による敵対的イメージキャプション攻撃
- Authors: Jiyao Li, Mingze Ni, Yifei Dong, Tianqing Zhu and Wei Liu
- Abstract要約: 我々は,AICAttackと呼ばれる新たな敵攻撃戦略を提示する。
ブラックボックス攻撃シナリオ内で動作するため、我々のアルゴリズムはターゲットモデルのアーキテクチャ、パラメータ、勾配情報へのアクセスを必要としない。
複数の犠牲者モデルを用いたベンチマークデータセットの広範な実験により,AICAttackの有効性を実証する。
- 参考スコア(独自算出の注目度): 13.99541041673674
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in deep learning research have shown remarkable achievements
across many tasks in computer vision (CV) and natural language processing
(NLP). At the intersection of CV and NLP is the problem of image captioning,
where the related models' robustness against adversarial attacks has not been
well studied. In this paper, we present a novel adversarial attack strategy,
which we call AICAttack (Attention-based Image Captioning Attack), designed to
attack image captioning models through subtle perturbations on images.
Operating within a black-box attack scenario, our algorithm requires no access
to the target model's architecture, parameters, or gradient information. We
introduce an attention-based candidate selection mechanism that identifies the
optimal pixels to attack, followed by Differential Evolution (DE) for
perturbing pixels' RGB values. We demonstrate AICAttack's effectiveness through
extensive experiments on benchmark datasets with multiple victim models. The
experimental results demonstrate that our method surpasses current leading-edge
techniques by effectively distributing the alignment and semantics of words in
the output.
- Abstract(参考訳): 近年のディープラーニング研究の進歩は、コンピュータビジョン(CV)と自然言語処理(NLP)における多くのタスクにおいて顕著な成果を示している。
CVとNLPの交わりは画像キャプションの問題であり、敵攻撃に対する関連モデルの堅牢性は十分に研究されていない。
本稿では,AICAttack (Attention-based Image Captioning Attack) と呼ばれる,画像上の微妙な摂動による画像キャプションモデルへの攻撃を目的とした,新たな敵攻撃戦略を提案する。
ブラックボックス攻撃シナリオ内で動作し,対象モデルのアーキテクチャやパラメータ,勾配情報へのアクセスを必要としない。
本稿では,攻撃対象の最適な画素を識別する注意に基づく候補選択機構と,画素のrgb値の摂動のための差分進化(de)を提案する。
複数の犠牲者モデルを用いたベンチマークデータセットの広範な実験により,AICAttackの有効性を示す。
実験の結果,提案手法は,単語のアライメントとセマンティクスを効果的に分散することにより,現在の先行手法を超えることを示した。
関連論文リスト
- Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳(メタデータ) (2024-04-23T11:45:32Z) - VQAttack: Transferable Adversarial Attacks on Visual Question Answering
via Pre-trained Models [58.21452697997078]
本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。
5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
論文 参考訳(メタデータ) (2024-02-16T21:17:42Z) - SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T09:08:50Z) - OT-Attack: Enhancing Adversarial Transferability of Vision-Language
Models via Optimal Transport Optimization [65.57380193070574]
視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。
近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。
本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
論文 参考訳(メタデータ) (2023-12-07T16:16:50Z) - Attackar: Attack of the Evolutionary Adversary [0.0]
本稿では、進化的、スコアベース、ブラックボックス攻撃であるtextitAttackarを紹介する。
アタッカーは、勾配のない最適化問題に使用できる新しい目的関数に基づいている。
以上の結果から,精度とクエリ効率の両面で,Attackarの優れた性能を示す。
論文 参考訳(メタデータ) (2022-08-17T13:57:23Z) - A Black-box NLP Classifier Attacker [5.177150961252542]
本稿では,自己認識機構に基づく単語選択手法と,単語置換のための欲求探索アルゴリズムを含む,単語レベルのNLP感情分類器攻撃モデルを提案する。
本モデルでは,単語選択アルゴリズムを用いて単語置換数を最小化することにより,従来の手法よりも高い攻撃成功率と効率を実現している。
論文 参考訳(メタデータ) (2021-12-22T04:25:23Z) - Geometrically Adaptive Dictionary Attack on Face Recognition [23.712389625037442]
顔認証に対するクエリ効率の良いブラックボックス攻撃のための戦略を提案する。
中心となるアイデアは、UVテクスチャマップに逆方向の摂動を作り、それを画像の顔に投影することです。
LFWデータセットとCPLFWデータセットの実験において、圧倒的な性能改善を示す。
論文 参考訳(メタデータ) (2021-11-08T10:26:28Z) - Bridge the Gap Between CV and NLP! A Gradient-based Textual Adversarial
Attack Framework [17.17479625646699]
そこで本研究では,テキストの敵対的サンプルを作成するための統一的なフレームワークを提案する。
本稿では,T-PGD(Textual Projected Gradient Descent)という攻撃アルゴリズムを用いて,我々のフレームワークをインスタンス化する。
論文 参考訳(メタデータ) (2021-10-28T17:31:51Z) - Deep Image Destruction: A Comprehensive Study on Vulnerability of Deep
Image-to-Image Models against Adversarial Attacks [104.8737334237993]
本稿では,敵対的攻撃に対する深部画像対画像モデルの脆弱性に関する包括的調査を行う。
一般的な5つの画像処理タスクでは、さまざまな観点から16の深いモデルが分析される。
画像分類タスクとは異なり、画像間タスクの性能劣化は様々な要因によって大きく異なることが示される。
論文 参考訳(メタデータ) (2021-04-30T14:20:33Z) - PICA: A Pixel Correlation-based Attentional Black-box Adversarial Attack [37.15301296824337]
PICAと呼ばれる画素相関に基づく注目ブラックボックス対向攻撃を提案する。
PICAは、既存のブラックボックス攻撃と比較して高解像度の逆例を生成するのが効率的である。
論文 参考訳(メタデータ) (2021-01-19T09:53:52Z) - Reinforcement Learning-based Black-Box Evasion Attacks to Link
Prediction in Dynamic Graphs [87.5882042724041]
動的グラフ(LPDG)におけるリンク予測は、多様な応用を持つ重要な研究課題である。
我々は,LPDG法の脆弱性を調査し,最初の実用的なブラックボックス回避攻撃を提案する。
論文 参考訳(メタデータ) (2020-09-01T01:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。