論文の概要: Image Hijacks: Adversarial Images can Control Generative Models at
Runtime
- arxiv url: http://arxiv.org/abs/2309.00236v2
- Date: Mon, 18 Sep 2023 17:59:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 22:16:25.267634
- Title: Image Hijacks: Adversarial Images can Control Generative Models at
Runtime
- Title(参考訳): 画像ハイジャック: 逆画像は実行時に生成モデルを制御することができる
- Authors: Luke Bailey, Euan Ong, Stuart Russell, Scott Emmons
- Abstract要約: 本研究は視覚言語モデル(VLM)への画像入力に焦点を当てる。
我々は、実行時に生成モデルを制御する画像ハイジャック、逆画像を発見する。
CLIPとLLaMA-2に基づく最先端のVLMであるLLaVAに対するこれらの攻撃について検討する。
- 参考スコア(独自算出の注目度): 9.3983793982447
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Are foundation models secure from malicious actors? In this work, we focus on
the image input to a vision-language model (VLM). We discover image hijacks,
adversarial images that control generative models at runtime. We introduce
Behaviour Matching, a general method for creating image hijacks, and we use it
to explore three types of attacks. Specific string attacks generate arbitrary
output of the adversary's choice. Leak context attacks leak information from
the context window into the output. Jailbreak attacks circumvent a model's
safety training. We study these attacks against LLaVA, a state-of-the-art VLM
based on CLIP and LLaMA-2, and find that all our attack types have above a 90%
success rate. Moreover, our attacks are automated and require only small image
perturbations. These findings raise serious concerns about the security of
foundation models. If image hijacks are as difficult to defend against as
adversarial examples in CIFAR-10, then it might be many years before a solution
is found -- if it even exists.
- Abstract(参考訳): 基礎モデルは悪意のあるアクターから安全か?
本研究では,視覚言語モデル(VLM)への画像入力に着目した。
我々は、実行時に生成モデルを制御する画像ハイジャック、逆画像を発見する。
我々は,イメージハイジャックを作成する一般的な手法であるビヘイビアマッチングを導入し,それを用いて3種類の攻撃を探索する。
特定の文字列攻撃は、敵の選択の任意の出力を生成する。
リークコンテキスト攻撃は、コンテキストウィンドウから出力に情報をリークする。
ジェイルブレイク攻撃はモデルの安全訓練を回避します。
CLIPとLLaMA-2をベースとした最先端のVLMであるLLaVAに対するこれらの攻撃について検討し、我々の攻撃タイプが90%以上の成功率を示した。
さらに、攻撃は自動化され、小さな画像の摂動のみを必要とする。
これらの知見は、基礎モデルの安全性に対する深刻な懸念を引き起こす。
もし画像ハイジャックがCIFAR-10の敵の例と同じくらい防御が難しいなら、解が見つかるまでには何年もかかるかもしれない。
関連論文リスト
- VL-Trojan: Multimodal Instruction Backdoor Attacks against
Autoregressive Visual Language Models [65.23688155159398]
VLM(Autoregressive Visual Language Models)は、マルチモーダルなコンテキストにおいて、驚くべき数ショットの学習機能を示す。
近年,マルチモーダル・インストラクション・チューニングが提案されている。
敵は、指示や画像に埋め込まれたトリガーで有毒なサンプルを注入することで、バックドアを埋め込むことができる。
本稿では,マルチモーダルなバックドア攻撃,すなわちVL-Trojanを提案する。
論文 参考訳(メタデータ) (2024-02-21T14:54:30Z) - VQAttack: Transferable Adversarial Attacks on Visual Question Answering
via Pre-trained Models [58.21452697997078]
本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。
5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
論文 参考訳(メタデータ) (2024-02-16T21:17:42Z) - Cheating Suffix: Targeted Attack to Text-To-Image Diffusion Models with
Multi-Modal Priors [59.43303903348258]
拡散モデルは様々な画像生成タスクに広く展開されている。
彼らは悪意ある画像や機密画像を生成するために悪用されるという課題に直面している。
本稿では,MMP-Attack という攻撃手法を提案する。
論文 参考訳(メタデータ) (2024-02-02T12:39:49Z) - Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks [62.34019142949628]
誤読テキストを画像に貼り付けるタイポグラフィーアタックは、CLIPのようなビジョンランゲージモデルの性能を損なうことが知られている。
我々は、LVLMが自身に対する攻撃を発生させる2つの新しい、より効果的なTextitSelf-Generated攻撃を導入する。
ベンチマークにより,自己生成攻撃が重大な脅威となり,LVLM(s)分類性能が最大33%低下することが判明した。
論文 参考訳(メタデータ) (2024-02-01T14:41:20Z) - InstructTA: Instruction-Tuned Targeted Attack for Large Vision-Language
Models [14.181022690391318]
大規模視覚言語モデル(LVLM)は、画像理解と応答生成において、その驚くべき能力を示した。
本稿では,被害者のLVLMの視覚的エンコーダにのみアクセス可能な,斬新で実用的なグレーボックス攻撃シナリオを定式化する。
本研究では,LVLMに対して高い伝達性を有する目標対向攻撃を実現するために,命令調整型目標攻撃(InstructTA)を提案する。
論文 参考訳(メタデータ) (2023-12-04T13:40:05Z) - VLATTACK: Multimodal Adversarial Attacks on Vision-Language Tasks via
Pre-trained Models [46.14455492739906]
VL(Vision-Language)事前訓練モデルは、多くのマルチモーダルタスクにおいて優位性を示している。
既存のアプローチは主に、ホワイトボックス設定下での敵の堅牢性を探究することに焦点を当てている。
本稿では,VLATTACKを用いて,画像とテキストの摂動を単一モードレベルとマルチモードレベルの両方から分離し,対向サンプルを生成する。
論文 参考訳(メタデータ) (2023-10-07T02:18:52Z) - Universal and Transferable Adversarial Attacks on Aligned Language
Models [118.41733208825278]
本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。
驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
論文 参考訳(メタデータ) (2023-07-27T17:49:12Z) - Fooling Contrastive Language-Image Pre-trained Models with CLIPMasterPrints [15.643898659673036]
汎用性にも拘わらず、CLIPモデルは、マスタイメージをだますものとして、私たちが言うものに対して脆弱であることを示す。
フーリングマスターイメージは、CLIPモデルの信頼性スコアを最大化し、広範囲に変化するプロンプトのかなりの数に設定することができる。
私たちはCLIPMasterPrintsのマスターイメージが、勾配降下、投影降下、ブラックボックス最適化によってどのようにマイニングされるかを実証する。
論文 参考訳(メタデータ) (2023-07-07T18:54:11Z) - Dual Manifold Adversarial Robustness: Defense against Lp and non-Lp
Adversarial Attacks [154.31827097264264]
敵の訓練は、境界Lpノルムを持つ攻撃脅威モデルに対する一般的な防衛戦略である。
本稿では,2次元マニフォールド逆行訓練(DMAT)を提案する。
我々のDMATは、通常の画像の性能を改善し、Lp攻撃に対する標準的な敵の訓練と同等の堅牢性を達成する。
論文 参考訳(メタデータ) (2020-09-05T06:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。