論文の概要: Images are Achilles' Heel of Alignment: Exploiting Visual Vulnerabilities for Jailbreaking Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2403.09792v3
• Date: Mon, 13 Jan 2025 03:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:28:51.886641
• Title: Images are Achilles' Heel of Alignment: Exploiting Visual Vulnerabilities for Jailbreaking Multimodal Large Language Models
• Title（参考訳）: アキレスのアライメント:マルチモーダル大言語モデルのジェイルブレークにおける視覚的脆弱性の爆発的発見
• Authors: Yifan Li, Hangyu Guo, Kun Zhou, Wayne Xin Zhao, Ji-Rong Wen,
• Abstract要約: マルチモーダル大言語モデル(MLLM)の無害アライメント問題について検討する。 そこで本研究では,テキスト入力における悪意のある意図の有害性を隠蔽し,増幅する,HADESという新しいジェイルブレイク手法を提案する。 実験の結果、HADESは既存のMLLMを効果的にジェイルブレイクし、LLaVA-1.5では90.26%、Gemini Pro Visionでは71.60%の攻撃成功率を達成した。
• 参考スコア（独自算出の注目度）: 107.88745040504887
• License:
• Abstract: In this paper, we study the harmlessness alignment problem of multimodal large language models (MLLMs). We conduct a systematic empirical analysis of the harmlessness performance of representative MLLMs and reveal that the image input poses the alignment vulnerability of MLLMs. Inspired by this, we propose a novel jailbreak method named HADES, which hides and amplifies the harmfulness of the malicious intent within the text input, using meticulously crafted images. Experimental results show that HADES can effectively jailbreak existing MLLMs, which achieves an average Attack Success Rate (ASR) of 90.26% for LLaVA-1.5 and 71.60% for Gemini Pro Vision. Our code and data are available at https://github.com/RUCAIBox/HADES.
• Abstract（参考訳）: 本稿では,マルチモーダル大言語モデル(MLLM)の無害アライメント問題について検討する。 代表MLLMの無害性能を系統的に解析し,画像入力がMLLMのアライメント脆弱性を生じさせることを示す。 そこで本研究では,テキスト入力における悪意のある意図の有害性を隠蔽して増幅する,HADESという新しいジェイルブレイク手法を提案する。 実験の結果、HADESは既存のMLLMを効果的にジェイルブレイクし、LLaVA-1.5では90.26%、Gemini Pro Visionでは71.60%の攻撃成功率を達成した。 私たちのコードとデータはhttps://github.com/RUCAIBox/HADES.comで公開されています。

関連論文リスト

• Jailbreak Large Vision-Language Models Through Multi-Modal Linkage [14.025750623315561]
  我々は、MML攻撃という新しいジェイルブレイク攻撃フレームワークを提案する。暗号からインスピレーションを得たMMLは、テキストと画像のモダリティをまたいだ暗号化復号プロセスを利用して、悪意のある情報の過剰露出を軽減する。 MMLjailbreaks GPT-4o with attack success rate 97.80% on SafeBench, 98.81% on MM-SafeBench, 99.07% on HADES-Dataset。
  論文  参考訳（メタデータ） (2024-11-30T13:21:15Z)
• Exploring Visual Vulnerabilities via Multi-Loss Adversarial Search for Jailbreaking Vision-Language Models [92.79804303337522]
  VLM(Vision-Language Models)は、安全アライメントの問題に対して脆弱である。 本稿では、シナリオ認識画像生成を利用したセマンティックアライメントのための新しいジェイルブレイクフレームワークであるMLAIを紹介する。 大規模な実験はMLAIの重大な影響を示し、MiniGPT-4で77.75%、LLaVA-2で82.80%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-11-27T02:40:29Z)
• Safe + Safe = Unsafe? Exploring How Safe Images Can Be Exploited to Jailbreak Large Vision-Language Models [80.77246856082742]
  Safety Snowball Agent (SSA) は、エージェントの自律的およびツール使用能力をジェイルブレイクLVLMに活用する新しいエージェントベースのフレームワークである。 我々の実験では、ほぼすべての画像を用いてLVLMを誘導し、安全でないコンテンツを生成し、最新のLVLMに対して高いジェイルブレイク率を達成できることを示した。
  論文  参考訳（メタデータ） (2024-11-18T11:58:07Z)
• IDEATOR: Jailbreaking Large Vision-Language Models Using Themselves [67.30731020715496]
  ブラックボックスのジェイルブレイク攻撃に対して,悪意のある画像テキストペアを自動生成する新しいジェイルブレイク手法 IDEATOR を提案する。 IDEATORはVLMを使用して、ターゲットとなるJailbreakテキストを作成し、最先端の拡散モデルによって生成されたJailbreakイメージと組み合わせる。 平均5.34クエリでMiniGPT-4をジェイルブレイクし、LLaVA、InstructBLIP、Meta's Chameleonに転送すると82%、88%、75%という高い成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-29T07:15:56Z)
• Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
  本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。 特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
  論文  参考訳（メタデータ） (2024-06-06T13:00:42Z)
• Efficient LLM-Jailbreaking by Introducing Visual Modality [28.925716670778076]
  本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃に焦点を当てた。 我々のアプローチは、ターゲットのLLMに視覚モジュールを組み込むことで、MLLM(Multimodal large language model)を構築することから始まる。 我々は, EmbJS をテキスト空間に変換し, ターゲット LLM のジェイルブレイクを容易にする。
  論文  参考訳（メタデータ） (2024-05-30T12:50:32Z)
• JailBreakV: A Benchmark for Assessing the Robustness of MultiModal Large Language Models against Jailbreak Attacks [24.69275959735538]
  本稿では,大規模言語モデルのジェイルブレイクを成功させる手法が,MLLMのジェイルブレークに等しく有効かどうかを検討する。 MLLM への LLM ジェイルブレイク手法の転送性を評価するための先駆的なベンチマークである JailBreakV-28K を紹介する。 LLMの高度なジェイルブレイク攻撃と、最近のMLLMのジェイルブレイク攻撃によるイメージベースのジェイルブレイク入力により、20000のテキストベースのジェイルブレイクプロンプトを生成します。
  論文  参考訳（メタデータ） (2024-04-03T19:23:18Z)
• Jailbreaking Attack against Multimodal Large Language Model [69.52466793164618]
  本稿では,マルチモーダル大規模言語モデル(MLLM)に対するジェイルブレイク攻撃に焦点を当てた。 imgJP (emphimage Jailbreaking Prompt) の探索手法を提案する。 提案手法は, 生成したimgJPをジェイルブレイクモデルに転送できるため, 強いモデル伝達性を示す。
  論文  参考訳（メタデータ） (2024-02-04T01:29:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。