Fugu-MT 論文翻訳(概要): IDEATOR: Jailbreaking VLMs Using VLMs

論文の概要: IDEATOR: Jailbreaking VLMs Using VLMs

arxiv url: http://arxiv.org/abs/2411.00827v1
Date: Tue, 29 Oct 2024 07:15:56 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-05 21:28:26.716339
Title: IDEATOR: Jailbreaking VLMs Using VLMs
Title（参考訳）: IDEATOR: VLMを使ってVLMをジェイルブレイクする
Authors: Ruofan Wang, Bo Wang, Xingjun Ma, Yu-Gang Jiang,
Abstract要約: ブラックボックスのジェイルブレイク攻撃に対して,悪意のある画像テキストペアを自動生成する新しいジェイルブレイク手法 IDEATOR を提案する。 IDEATORはVLMを使用してジェイルブレイクテキストを生成し、最先端の拡散モデルを利用して対応するジェイルブレイク画像を生成する。 MiniGPT-4を94%の成功率でジェイルブレイクし、LLaVAとInstructBLIPにシームレスに移行し、それぞれ82%と88%という高い成功率を達成した。
参考スコア（独自算出の注目度）: 68.4760494411687
License:
Abstract: As large Vision-Language Models (VLMs) continue to gain prominence, ensuring their safety deployment in real-world applications has become a critical concern. Recently, significant research efforts have focused on evaluating the robustness of VLMs against jailbreak attacks. Due to challenges in obtaining multi-modal data, current studies often assess VLM robustness by generating adversarial or query-relevant images based on harmful text datasets. However, the jailbreak images generated this way exhibit certain limitations. Adversarial images require white-box access to the target VLM and are relatively easy to defend against, while query-relevant images must be linked to the target harmful content, limiting their diversity and effectiveness. In this paper, we propose a novel jailbreak method named IDEATOR, which autonomously generates malicious image-text pairs for black-box jailbreak attacks. IDEATOR is a VLM-based approach inspired by our conjecture that a VLM itself might be a powerful red team model for generating jailbreak prompts. Specifically, IDEATOR employs a VLM to generate jailbreak texts while leveraging a state-of-the-art diffusion model to create corresponding jailbreak images. Extensive experiments demonstrate the high effectiveness and transferability of IDEATOR. It successfully jailbreaks MiniGPT-4 with a 94% success rate and transfers seamlessly to LLaVA and InstructBLIP, achieving high success rates of 82% and 88%, respectively. IDEATOR uncovers previously unrecognized vulnerabilities in VLMs, calling for advanced safety mechanisms.
Abstract（参考訳）: VLM(Vision-Language Models)が普及を続けるにつれ、現実のアプリケーションにおける安全性の確保が重要な問題となっている。近年,VLMの脱獄攻撃に対する堅牢性を評価する研究が盛んに行われている。マルチモーダルデータを取得する上での課題のため、現在の研究では、有害なテキストデータセットに基づいて、逆あるいはクエリ関連の画像を生成することにより、VLMの堅牢性を評価することがしばしばある。しかし、この方法で生成されたジェイルブレイク画像には、一定の制限がある。敵画像はターゲットのVLMへのホワイトボックスアクセスを必要とし、比較的防御が容易であるが、クエリ関連画像はターゲットの有害なコンテンツにリンクし、その多様性と有効性を制限する必要がある。本稿では,ブラックボックスのジェイルブレイク攻撃に対して,悪意のある画像テキストペアを自動生成する新しいジェイルブレイク手法IDEATORを提案する。 IDEATORはVLMベースのアプローチで、VLM自体がジェイルブレイクプロンプトを生成するための強力なレッドチームモデルかもしれないという予想にインスパイアされています。具体的には、IDEATORはVLMを使用してジェイルブレイクテキストを生成し、最先端の拡散モデルを利用して対応するジェイルブレイク画像を生成する。大規模な実験はIDEATORの有効性と伝達性を示している。 MiniGPT-4を94%の成功率でジェイルブレイクし、LLaVAとInstructBLIPにシームレスに移行し、それぞれ82%と88%という高い成功率を達成した。 IDEATORは、VLMの未認識の脆弱性を明らかにし、高度な安全メカニズムを要求している。

関連論文リスト

Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
論文参考訳（メタデータ） (2025-01-05T19:06:03Z)
Jailbreak Large Vision-Language Models Through Multi-Modal Linkage [14.025750623315561]
我々は、MML攻撃という新しいジェイルブレイク攻撃フレームワークを提案する。暗号からインスピレーションを得たMMLは、テキストと画像のモダリティをまたいだ暗号化復号プロセスを利用して、悪意のある情報の過剰露出を軽減する。 MMLjailbreaks GPT-4o with attack success rate 97.80% on SafeBench, 98.81% on MM-SafeBench, 99.07% on HADES-Dataset。
論文参考訳（メタデータ） (2024-11-30T13:21:15Z)
Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
論文参考訳（メタデータ） (2024-10-15T06:31:04Z)
RedAgent: Red Teaming Large Language Models with Context-aware Autonomous Language Agent [24.487441771427434]
我々は,コンテキスト認識型ジェイルブレイクプロンプトを生成するためのマルチエージェントLLMシステムRedAgentを提案する。我々のシステムは、ほとんどのブラックボックスLSMをたった5つのクエリでジェイルブレイクすることができ、既存のレッドチーム方式の効率を2倍に向上させることができる。すべての問題を報告し、バグ修正のためにOpenAIとMetaと通信しました。
論文参考訳（メタデータ） (2024-07-23T17:34:36Z)
Image-to-Text Logic Jailbreak: Your Imagination can Help You Do Anything [4.477597131613079]
本稿では,VLMの論理に基づくフローチャートジェイルブレイク機能を評価するための,新しいデータセットFlow-JDを提案する。我々は、GPT-4o、GPT-4V、その他の5つのSOTAオープンソースVLMに対して広範囲に評価を行い、ジェイルブレイク率は92.8%である。我々の研究は、画像からテキストへのジェイルブレイクに関する現在のVLMの重大な脆弱性を明らかにし、これらの発見は、堅牢で効果的な将来の防衛を開発する上での緊急性を強調している。
論文参考訳（メタデータ） (2024-07-01T16:58:55Z)
Virtual Context: Enhancing Jailbreak Attacks with Special Token Injection [54.05862550647966]
本稿では、以前LLMセキュリティで見過ごされていた特別なトークンを活用して、ジェイルブレイク攻撃を改善する仮想コンテキストを提案する。総合的な評価によると、仮想コンテキストによるジェイルブレイク攻撃は、4つの広く使われているジェイルブレイク手法の成功率を約40%向上させることができる。
論文参考訳（メタデータ） (2024-06-28T11:35:54Z)
Images are Achilles' Heel of Alignment: Exploiting Visual Vulnerabilities for Jailbreaking Multimodal Large Language Models [107.88745040504887]
マルチモーダル大言語モデル(MLLM)の無害アライメント問題について検討する。そこで本研究では,テキスト入力における悪意のある意図の有害性を隠蔽し,増幅する,HADESという新しいジェイルブレイク手法を提案する。実験の結果、HADESは既存のMLLMを効果的にジェイルブレイクし、LLaVA-1.5では90.26%、Gemini Pro Visionでは71.60%の攻撃成功率を達成した。
論文参考訳（メタデータ） (2024-03-14T18:24:55Z)
Jailbreaking Attack against Multimodal Large Language Model [69.52466793164618]
本稿では,マルチモーダル大規模言語モデル(MLLM)に対するジェイルブレイク攻撃に焦点を当てた。 imgJP (emphimage Jailbreaking Prompt) の探索手法を提案する。提案手法は, 生成したimgJPをジェイルブレイクモデルに転送できるため, 強いモデル伝達性を示す。
論文参考訳（メタデータ） (2024-02-04T01:29:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。