論文の概要: Replace-then-Perturb: Targeted Adversarial Attacks With Visual Reasoning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2411.00898v1
• Date: Fri, 01 Nov 2024 04:50:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:49:32.420979
• Title: Replace-then-Perturb: Targeted Adversarial Attacks With Visual Reasoning for Vision-Language Models
• Title（参考訳）: Replace-then-Perturb:視覚言語モデルに対する視覚的推論による敵攻撃
• Authors: Jonggyu Jang, Hyeonsu Lyu, Jungyeon Koh, Hyun Jong Yang,
• Abstract要約: 本稿では,新たな敵攻撃手法であるReplace-then-PerturbとContrastive-Advを提案する。 Replace-then-Perturbでは、まずテキスト誘導セグメンテーションモデルを用いて画像中の対象物を見つける。 これにより、元の画像の全体的な完全性を維持しつつ、所望のプロンプトに対応するターゲット画像を生成することができる。
• 参考スコア（独自算出の注目度）: 6.649753747542211
• License:
• Abstract: The conventional targeted adversarial attacks add a small perturbation to an image to make neural network models estimate the image as a predefined target class, even if it is not the correct target class. Recently, for visual-language models (VLMs), the focus of targeted adversarial attacks is to generate a perturbation that makes VLMs answer intended target text outputs. For example, they aim to make a small perturbation on an image to make VLMs' answers change from "there is an apple" to "there is a baseball." However, answering just intended text outputs is insufficient for tricky questions like "if there is a baseball, tell me what is below it." This is because the target of the adversarial attacks does not consider the overall integrity of the original image, thereby leading to a lack of visual reasoning. In this work, we focus on generating targeted adversarial examples with visual reasoning against VLMs. To this end, we propose 1) a novel adversarial attack procedure -- namely, Replace-then-Perturb and 2) a contrastive learning-based adversarial loss -- namely, Contrastive-Adv. In Replace-then-Perturb, we first leverage a text-guided segmentation model to find the target object in the image. Then, we get rid of the target object and inpaint the empty space with the desired prompt. By doing this, we can generate a target image corresponding to the desired prompt, while maintaining the overall integrity of the original image. Furthermore, in Contrastive-Adv, we design a novel loss function to obtain better adversarial examples. Our extensive benchmark results demonstrate that Replace-then-Perturb and Contrastive-Adv outperform the baseline adversarial attack algorithms. We note that the source code to reproduce the results will be available.
• Abstract（参考訳）: 従来の標的攻撃は、たとえそれが正しいターゲットクラスであっても、ニューラルネットワークモデルが事前に定義されたターゲットクラスとして画像を推定するように、画像に小さな摂動を加える。 近年,視覚言語モデル (VLM) では, 対象の敵対的攻撃の焦点は, VLM が対象のテキスト出力に応答する摂動を生成することである。 例えば、VLMの回答を「リンゴがある」から「野球がある」に変更させるため、イメージ上の小さな摂動を作ることを目指している。 しかし、「もし野球があるなら、その下にあるものを教えて下さい」といったトリッキーな質問には、単に意図したテキスト出力に答えるだけでは不十分である。 これは、敵攻撃の標的が元の画像の全体的完全性を考慮しておらず、視覚的推論の欠如につながるためである。 本研究は,VLMに対する視覚的推論を用いて,ターゲットとなる敵の例を生成することに焦点を当てる。 この目的のために,我々は提案する 1) 新たな敵攻撃手順、すなわち、置き換え-then-Perturb 2) 対照的な学習に基づく敵対的損失、すなわちContrastive-Adv。 Replace-then-Perturbでは、まずテキスト誘導セグメンテーションモデルを用いて画像中の対象物を見つける。 そして、対象物を取り除き、所望のプロンプトで空の空間を塗る。 これにより、元の画像の全体的な完全性を維持しつつ、所望のプロンプトに対応するターゲット画像を生成することができる。 さらに、Contrastive-Advでは、より優れた対角的な例を得るために、新しい損失関数を設計する。 大規模なベンチマークの結果, Replace-then-Perturb と Contrastive-Adv はベースライン対向攻撃アルゴリズムより優れていることが示された。 結果の再現のためのソースコードが利用可能になることに注意してください。

関連論文リスト

• Ask, Attend, Attack: A Effective Decision-Based Black-Box Targeted Attack for Image-to-Text Models [29.1607388062023]
  本稿では,攻撃者が最終出力テキストにのみアクセスし,標的攻撃を行うことを目的とした決定ベースのブラックボックス攻撃という,困難なシナリオに焦点を当てる。 3段階のプロセス textitAsk, Attend, Attack は textitAAA と呼ばれ、解決者と協調するために提案されている。 Transformer-basedおよびCNN+RNN-based image-to-text modelの実験結果から,提案したtextitAAAの有効性が確認された。
  論文  参考訳（メタデータ） (2024-08-16T19:35:06Z)
• Unsegment Anything by Simulating Deformation [67.10966838805132]
  「無声化」とは、「無声化の権利」を画像に付与する作業である。 我々は、全てのプロンプトベースセグメンテーションモデルに対して、転送可能な敵攻撃を実現することを目指している。 本手法は, 画像エンコーダの特徴を破壊し, 即時攻撃を実現することに焦点を当てる。
  論文  参考訳（メタデータ） (2024-04-03T09:09:42Z)
• VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models [58.21452697997078]
  本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。 5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-16T21:17:42Z)
• InstructTA: Instruction-Tuned Targeted Attack for Large Vision-Language Models [13.21813503235793]
  大規模視覚言語モデル(LVLM)は、画像理解と応答生成において、その驚くべき能力を示した。 本稿では,被害者LVLMの視覚エンコーダのみを敵が知ることのできる,新規で実用的な攻撃シナリオを定式化する。 本研究では,LVLMに対して高い転送性を有する目標対向攻撃を実現するために,命令調整型ターゲットアタック(dubed textscInstructTA)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T13:40:05Z)
• I See Dead People: Gray-Box Adversarial Attack on Image-To-Text Models [0.0]
  我々は、画像からテキストへのグレーボックスの逆攻撃を、未ターゲティングとターゲットの両方に提示する。 攻撃はグレーボックス方式で実行され、デコーダモジュールに関する知識は不要です。 また、私たちの攻撃は人気のあるオープンソースプラットフォームHugging Faceを騙していることも示しています。
  論文  参考訳（メタデータ） (2023-06-13T07:35:28Z)
• Object-fabrication Targeted Attack for Object Detection [54.10697546734503]
  物体検出の敵攻撃は 標的攻撃と未標的攻撃を含む。 新たなオブジェクトファブリケーションターゲット攻撃モードは、特定のターゲットラベルを持つ追加の偽オブジェクトをファブリケートする検出器を誤解させる可能性がある。
  論文  参考訳（メタデータ） (2022-12-13T08:42:39Z)
• Adversarial examples by perturbing high-level features in intermediate decoder layers [0.0]
  画素を摂動する代わりに、入力画像のエンコーダ-デコーダ表現とデコーダの中間層を摂動する。 我々の摂動は、より長いくちばしや緑のくちばしのような意味的な意味を持っている。 本手法は,敵の攻撃に対して,敵の訓練に基づく防御技術が脆弱であることを示す。
  論文  参考訳（メタデータ） (2021-10-14T07:08:15Z)
• Attack to Fool and Explain Deep Networks [59.97135687719244]
  対人摂動における人為的意味のパターンの証拠を提供することによって、私たちは逆転する。 我々の主な貢献は、その後視覚モデルを理解するためのツールに変換される、新しい実用的対人攻撃である。
  論文  参考訳（メタデータ） (2021-06-20T03:07:36Z)
• On Generating Transferable Targeted Perturbations [102.3506210331038]
  伝達性の高い標的摂動に対する新しい生成的アプローチを提案する。 私たちのアプローチは、ターゲットクラスの「乱れた画像分布」にマッチし、高いターゲット転送率につながります。
  論文  参考訳（メタデータ） (2021-03-26T17:55:28Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。