論文の概要: GAMA: Generative Adversarial Multi-Object Scene Attacks
- arxiv url: http://arxiv.org/abs/2209.09502v1
- Date: Tue, 20 Sep 2022 06:40:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 18:36:20.723525
- Title: GAMA: Generative Adversarial Multi-Object Scene Attacks
- Title(参考訳): GAMA: ジェネレーティブな対戦型マルチオブジェクトシーンアタック
- Authors: Abhishek Aich, Calvin Khang-Ta, Akash Gupta, Chengyu Song, Srikanth V.
Krishnamurthy, M. Salman Asif, Amit K. Roy-Chowdhury
- Abstract要約: 本稿では,多目的シーンに対する敵攻撃に対する生成モデルを用いた最初のアプローチを提案する。
我々はこの攻撃アプローチをGAMA(Generative Adversarial Multi-Object scene Attacks)と呼ぶ。
- 参考スコア(独自算出の注目度): 48.33120361498787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The majority of methods for crafting adversarial attacks have focused on
scenes with a single dominant object (e.g., images from ImageNet). On the other
hand, natural scenes include multiple dominant objects that are semantically
related. Thus, it is crucial to explore designing attack strategies that look
beyond learning on single-object scenes or attack single-object victim
classifiers. Due to their inherent property of strong transferability of
perturbations to unknown models, this paper presents the first approach of
using generative models for adversarial attacks on multi-object scenes. In
order to represent the relationships between different objects in the input
scene, we leverage upon the open-sourced pre-trained vision-language model CLIP
(Contrastive Language-Image Pre-training), with the motivation to exploit the
encoded semantics in the language space along with the visual space. We call
this attack approach Generative Adversarial Multi-object scene Attacks (GAMA).
GAMA demonstrates the utility of the CLIP model as an attacker's tool to train
formidable perturbation generators for multi-object scenes. Using the joint
image-text features to train the generator, we show that GAMA can craft potent
transferable perturbations in order to fool victim classifiers in various
attack settings. For example, GAMA triggers ~16% more misclassification than
state-of-the-art generative approaches in black-box settings where both the
classifier architecture and data distribution of the attacker are different
from the victim. Our code will be made publicly available soon.
- Abstract(参考訳): 敵攻撃を作ろうという手法の大半は、単一の支配的なオブジェクト(例えばImageNetの画像)を持つシーンに焦点を当てている。
一方、自然のシーンには、意味的に関連づけられた複数の支配的なオブジェクトが含まれている。
したがって、単一オブジェクトシーンの学習を超えた攻撃戦略を設計することや、単一オブジェクトの被害者分類器を攻撃することが重要である。
未知のモデルに対する摂動の強い伝達可能性という本質的性質から,多目的シーンに対する攻撃に対して生成モデルを用いた最初のアプローチを提案する。
入力シーンにおける異なるオブジェクト間の関係を表現するために、私たちは、視覚空間と共に言語空間で符号化された意味論を活用すべく、オープンソースの視覚言語モデルクリップ(contrastive language-image pre-training)を活用しています。
我々はこの攻撃アプローチをGAMA(Generative Adversarial Multi-Object scene Attacks)と呼ぶ。
GAMAは攻撃者のツールとしてCLIPモデルの有用性を実証し、多目的シーンのための強迫性摂動ジェネレータを訓練する。
GAMAは, 共同画像テキスト機能を用いて, 様々な攻撃環境において, 被害者の分類を騙すために, 強力なトランスファー可能な摂動を実現できることを示す。
例えば、gamaは、攻撃者の分類アーキテクチャとデータ分散が被害者と異なるブラックボックス設定において、最先端のジェネレーティブアプローチよりも16%以上の誤分類をトリガーする。
私たちのコードはまもなく公開されます。
関連論文リスト
- Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks [62.34019142949628]
誤読テキストを画像に貼り付けるタイポグラフィーアタックは、CLIPのようなビジョンランゲージモデルの性能を損なうことが知られている。
我々は、LVLMが自身に対する攻撃を発生させる2つの新しい、より効果的なTextitSelf-Generated攻撃を導入する。
ベンチマークにより,自己生成攻撃が重大な脅威となり,LVLM(s)分類性能が最大33%低下することが判明した。
論文 参考訳(メタデータ) (2024-02-01T14:41:20Z) - Context Disentangling and Prototype Inheriting for Robust Visual
Grounding [56.63007386345772]
ビジュアルグラウンドディング(VG)は、与えられた言語クエリに基づいて、画像内の特定のターゲットを特定することを目的としている。
本稿では,両シーンを両シーンで処理する堅牢な視覚的グラウンド化のために,コンテキストの切り離しとプロトタイプを継承する新しいフレームワークを提案する。
本手法は両シナリオにおいて最先端の手法よりも優れる。
論文 参考訳(メタデータ) (2023-12-19T09:03:53Z) - GLOW: Global Layout Aware Attacks for Object Detection [27.46902978168904]
敵攻撃は、予測器が誤った結果を出力するような摂動画像を狙う。
本稿では,グローバルなレイアウト認識型敵攻撃を発生させることにより,様々な攻撃要求に対処するアプローチを提案する。
実験では,複数種類の攻撃要求を設計し,MS検証セット上でのアイデアの検証を行う。
論文 参考訳(メタデータ) (2023-02-27T22:01:34Z) - Leveraging Local Patch Differences in Multi-Object Scenes for Generative
Adversarial Attacks [48.66027897216473]
マルチオブジェクト(複数支配対象)画像を用いた対向的摂動を生成するための,より実践的な問題に取り組む。
本稿では,複数場面の特徴空間における特徴空間の局所的差を利用した新たな生成的攻撃(ローカルパッチ差(LPD-Attack))を提案する。
提案手法は, 異なるホワイトボックスとブラックボックスの設定で評価した場合, 非常に伝達性の高い摂動を伴うベースライン生成攻撃よりも優れる。
論文 参考訳(メタデータ) (2022-09-20T17:36:32Z) - Multiclass ASMA vs Targeted PGD Attack in Image Segmentation [0.0]
本稿では,イメージセグメンテーションのDeepLabV3モデルにおけるPGD攻撃と適応マスク攻撃について検討する。
しかし、このような攻撃の存在は、画像分類のディープラーニングネットワークを悪用する危険を冒している。
論文 参考訳(メタデータ) (2022-08-03T05:05:30Z) - Context-Aware Transfer Attacks for Object Detection [51.65308857232767]
本稿では,オブジェクト検出のためのコンテキスト認識攻撃を新たに生成する手法を提案する。
オブジェクトとその相対的な位置と大きさの共起をコンテキスト情報として利用することにより、ターゲットの誤分類攻撃をうまく生成できることを示す。
論文 参考訳(メタデータ) (2021-12-06T18:26:39Z) - Attack to Fool and Explain Deep Networks [59.97135687719244]
対人摂動における人為的意味のパターンの証拠を提供することによって、私たちは逆転する。
我々の主な貢献は、その後視覚モデルを理解するためのツールに変換される、新しい実用的対人攻撃である。
論文 参考訳(メタデータ) (2021-06-20T03:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。