論文の概要: Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt

• arxiv url: http://arxiv.org/abs/2406.04031v2
• Date: Mon, 1 Jul 2024 14:25:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 13:40:49.079298
• Title: Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt
• Title（参考訳）: Bi-Modal Adversarial Promptによるジェイルブレイクビジョン言語モデル
• Authors: Zonghao Ying, Aishan Liu, Tianyuan Zhang, Zhengmin Yu, Siyuan Liang, Xianglong Liu, Dacheng Tao,
• Abstract要約: 本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。 特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
• 参考スコア（独自算出の注目度）: 60.54666043358946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the realm of large vision language models (LVLMs), jailbreak attacks serve as a red-teaming approach to bypass guardrails and uncover safety implications. Existing jailbreaks predominantly focus on the visual modality, perturbing solely visual inputs in the prompt for attacks. However, they fall short when confronted with aligned models that fuse visual and textual features simultaneously for generation. To address this limitation, this paper introduces the Bi-Modal Adversarial Prompt Attack (BAP), which executes jailbreaks by optimizing textual and visual prompts cohesively. Initially, we adversarially embed universally harmful perturbations in an image, guided by a few-shot query-agnostic corpus (e.g., affirmative prefixes and negative inhibitions). This process ensures that image prompt LVLMs to respond positively to any harmful queries. Subsequently, leveraging the adversarial image, we optimize textual prompts with specific harmful intent. In particular, we utilize a large language model to analyze jailbreak failures and employ chain-of-thought reasoning to refine textual prompts through a feedback-iteration manner. To validate the efficacy of our approach, we conducted extensive evaluations on various datasets and LVLMs, demonstrating that our method significantly outperforms other methods by large margins (+29.03% in attack success rate on average). Additionally, we showcase the potential of our attacks on black-box commercial LVLMs, such as Gemini and ChatGLM.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)の領域では、ジェイルブレイク攻撃はガードレールをバイパスし、安全への影響を明らかにするためのレッドチーム方式として機能する。 既存のジェイルブレイクは視覚的モダリティに主に焦点を合わせ、攻撃のプロンプトの中でのみ視覚的な入力を摂動する。 しかし、これらは、世代ごとに視覚的特徴とテキスト的特徴を同時に融合するアライメントモデルに直面すると、不足する。 この制限に対処するために,テキストと視覚のプロンプトを協調的に最適化し,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を導入する。 当初,画像に有害な摂動を交互に埋め込み,数発のクエリ非依存コーパス(例,肯定的な接頭辞,否定的な抑制)でガイドした。 このプロセスは、イメージプロンプトLVLMが有害なクエリに対して正に応答することを保証する。 その後、敵対画像を利用して、特定の有害な意図でテキストプロンプトを最適化する。 特に、大規模言語モデルを用いてジェイルブレイクの失敗を分析し、連鎖推論を用いてフィードバックイテレーションによってテキストプロンプトを洗練させる。 提案手法の有効性を検証するため, 各種データセットとLVLMを用いて広範囲な評価を行い, 攻撃成功率を平均29.03%) で比較した。 さらに,Gemini や ChatGLM などのブラックボックス商用 LVLM に対する攻撃の可能性を示す。

関連論文リスト

• Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
  そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。 また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。 本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-10-15T06:31:04Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models [34.557309967708406]
  本研究では,このような命令追従型音声モデルの潜在的な脆弱性を,敵対的攻撃や脱獄に対して検討する。 我々は、人間の関与なしに、ホワイトボックスとブラックボックスの攻撃設定の両方でジェイルブレイクSLMの逆例を生成するアルゴリズムを設計する。 本モデルでは,発話指示による対話データに基づいて,音声質問応答タスクにおける最先端のパフォーマンスを達成し,安全性と有用性の両方の指標で80%以上をスコア付けした。
  論文  参考訳（メタデータ） (2024-05-14T04:51:23Z)
• ImgTrojan: Jailbreaking Vision-Language Models with ONE Image [40.55590043993117]
  視覚言語モデル(VLM)に対する新しいジェイルブレイク攻撃を提案する。 トレーニングデータに有毒な(画像、テキスト)データペアを含めるシナリオが想定されます。 原文のキャプションを悪意のあるジェイルブレイクプロンプトに置き換えることにより、この手法は毒画像を用いてジェイルブレイク攻撃を行うことができる。
  論文  参考訳（メタデータ） (2024-03-05T12:21:57Z)
• AutoDAN: Interpretable Gradient-Based Adversarial Attacks on Large Language Models [55.748851471119906]
  LLM(Large Language Models)の安全性の整合性は、手動のジェイルブレイク攻撃や(自動)敵攻撃によって損なわれる可能性がある。 最近の研究は、これらの攻撃に対する防御が可能であることを示唆している。敵攻撃は無限だが読めないジベリッシュプロンプトを生成し、難易度に基づくフィルタによって検出できる。 両攻撃の強度をマージする,解釈可能な勾配に基づく対向攻撃であるAutoDANを導入する。
  論文  参考訳（メタデータ） (2023-10-23T17:46:07Z)
• Universal and Transferable Adversarial Attacks on Aligned Language Models [118.41733208825278]
  本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。 驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
  論文  参考訳（メタデータ） (2023-07-27T17:49:12Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。