論文の概要: An Image Is Worth 1000 Lies: Adversarial Transferability across Prompts on Vision-Language Models

• arxiv url: http://arxiv.org/abs/2403.09766v1
• Date: Thu, 14 Mar 2024 17:59:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 21:25:23.954961
• Title: An Image Is Worth 1000 Lies: Adversarial Transferability across Prompts on Vision-Language Models
• Title（参考訳）: 1000の嘘のイメージ:ビジョンランゲージモデル上でのプロンプト間の逆転性
• Authors: Haochen Luo, Jindong Gu, Fengyuan Liu, Philip Torr,
• Abstract要約: 従来のタスク固有の視覚モデルに関するよく知られた懸念は、それらは知覚できない逆境の摂動によって誤解される可能性があることである。 本研究では,クロスプロンプト攻撃(CroPA)を提案する。 CroPAは、学習可能なプロンプトで視覚的対向摂動を更新する。
• 参考スコア（独自算出の注目度）: 19.3364863157474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Different from traditional task-specific vision models, recent large VLMs can readily adapt to different vision tasks by simply using different textual instructions, i.e., prompts. However, a well-known concern about traditional task-specific vision models is that they can be misled by imperceptible adversarial perturbations. Furthermore, the concern is exacerbated by the phenomenon that the same adversarial perturbations can fool different task-specific models. Given that VLMs rely on prompts to adapt to different tasks, an intriguing question emerges: Can a single adversarial image mislead all predictions of VLMs when a thousand different prompts are given? This question essentially introduces a novel perspective on adversarial transferability: cross-prompt adversarial transferability. In this work, we propose the Cross-Prompt Attack (CroPA). This proposed method updates the visual adversarial perturbation with learnable prompts, which are designed to counteract the misleading effects of the adversarial image. By doing this, CroPA significantly improves the transferability of adversarial examples across prompts. Extensive experiments are conducted to verify the strong cross-prompt adversarial transferability of CroPA with prevalent VLMs including Flamingo, BLIP-2, and InstructBLIP in various different tasks. Our source code is available at \url{https://github.com/Haochen-Luo/CroPA}.
• Abstract（参考訳）: 従来のタスク固有の視覚モデルとは異なり、最近の大規模なVLMは、異なるテキスト命令、すなわちプロンプトを使用することで、容易に異なるビジョンタスクに適応することができる。 しかしながら、従来のタスク固有の視覚モデルに関するよく知られた懸念は、それらは知覚できない逆境の摂動によって誤解される可能性があることである。 さらに、同じ対向摂動が異なるタスク固有モデルを騙すことができるという現象により、この懸念が悪化する。 VLMが異なるタスクに適応するためのプロンプトに依存していることを考えれば、興味深い疑問が浮かび上がってくる。 単一の逆画像は、1000の異なるプロンプトが与えられたとき、VLMのすべての予測を誤解させることができるのか? この問題は本質的には、対向移動可能性(英語版)に関する新しい視点、すなわち対向移動可能性(英語版)を紹介している。 本研究では,クロスプロンプトアタック(CroPA)を提案する。 提案手法は,学習可能なプロンプトを用いて,視覚的対向摂動を更新する。 これを行うことで、CroPAはプロンプト間の敵例の転送可能性を大幅に改善する。 Flamingo, BLIP-2, InstructBLIPなどのVLMを多用したCroPAのクロスプロンプト対向性検証実験を行った。 ソースコードは \url{https://github.com/Haochen-Luo/CroPA} で公開されています。

関連論文リスト

• Few-Shot Adversarial Prompt Learning on Vision-Language Models [62.50622628004134]
  知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。 それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。 本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T18:28:43Z)
• VL-Trojan: Multimodal Instruction Backdoor Attacks against Autoregressive Visual Language Models [65.23688155159398]
  VLM(Autoregressive Visual Language Models)は、マルチモーダルなコンテキストにおいて、驚くべき数ショットの学習機能を示す。 近年,マルチモーダル・インストラクション・チューニングが提案されている。 敵は、指示や画像に埋め込まれたトリガーで有毒なサンプルを注入することで、バックドアを埋め込むことができる。 本稿では,マルチモーダルなバックドア攻撃,すなわちVL-Trojanを提案する。
  論文  参考訳（メタデータ） (2024-02-21T14:54:30Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• InstructTA: Instruction-Tuned Targeted Attack for Large Vision-Language Models [13.21813503235793]
  大規模視覚言語モデル(LVLM)は、画像理解と応答生成において、その驚くべき能力を示した。 本稿では,被害者LVLMの視覚エンコーダのみを敵が知ることのできる,新規で実用的な攻撃シナリオを定式化する。 本研究では,LVLMに対して高い転送性を有する目標対向攻撃を実現するために,命令調整型ターゲットアタック(dubed textscInstructTA)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T13:40:05Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)
• DiffPrompter: Differentiable Implicit Visual Prompts for Semantic-Segmentation in Adverse Conditions [14.52296033767276]
  DiffPrompterは、視覚的かつ潜時的な新しいプロンプト機構である。 提案した$nabla$HFC画像処理ブロックは,特に悪天候条件下では優れている。
  論文  参考訳（メタデータ） (2023-10-06T11:53:04Z)
• Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models [52.530286579915284]
  本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。 伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。 本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:19:21Z)
• Boosting Cross-task Transferability of Adversarial Patches with Visual Relations [4.694536172504848]
  本稿では,VRAPと呼ばれる,視覚関係に基づくクロスタスク・アダクティブ・パッチ生成手法を提案する。 VRAPはシーングラフを使用して、オブジェクト認識に基づく偽装と述語に基づく関係の排除を組み合わせている。 実験の結果,VRAPは多様な視覚的推論タスクにおけるブラックボックス転送可能性において,従来の手法をはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T11:43:57Z)
• Towards Transferable Adversarial Attacks on Vision Transformers [110.55845478440807]
  視覚変換器(ViT)は、コンピュータビジョンの一連のタスクにおいて印象的なパフォーマンスを示してきたが、それでも敵の例に悩まされている。 本稿では、PNA攻撃とPatchOut攻撃を含むデュアルアタックフレームワークを導入し、異なるViT間での対向サンプルの転送性を改善する。
  論文  参考訳（メタデータ） (2021-09-09T11:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。