論文の概要: FC-Attack: Jailbreaking Large Vision-Language Models via Auto-Generated Flowcharts

• arxiv url: http://arxiv.org/abs/2502.21059v1
• Date: Fri, 28 Feb 2025 13:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 16:38:45.928542
• Title: FC-Attack: Jailbreaking Large Vision-Language Models via Auto-Generated Flowcharts
• Title（参考訳）: FC-Attack:自動生成フローチャートによる大型ビジョンランゲージモデルの脱獄
• Authors: Ziyi Zhang, Zhen Sun, Zongmin Zhang, Jihui Guo, Xinlei He,
• Abstract要約: 本稿では,自動生成フローチャートFC-Attackに基づくジェイルブレイク攻撃手法を提案する。 FC-AttackはGemini-1.5、Llaval-Next、Qwen2-VL、InternVL-2.5で90%以上の攻撃成功率を達成した。 攻撃を緩和するため、いくつかの防御策を探索し、AdaShieldが脱獄性能を大幅に低下させるが、実用コストは低下する。
• 参考スコア（独自算出の注目度）: 20.323340637767327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) have become powerful and widely adopted in some practical applications. However, recent research has revealed their vulnerability to multimodal jailbreak attacks, whereby the model can be induced to generate harmful content, leading to safety risks. Although most LVLMs have undergone safety alignment, recent research shows that the visual modality is still vulnerable to jailbreak attacks. In our work, we discover that by using flowcharts with partially harmful information, LVLMs can be induced to provide additional harmful details. Based on this, we propose a jailbreak attack method based on auto-generated flowcharts, FC-Attack. Specifically, FC-Attack first fine-tunes a pre-trained LLM to create a step-description generator based on benign datasets. The generator is then used to produce step descriptions corresponding to a harmful query, which are transformed into flowcharts in 3 different shapes (vertical, horizontal, and S-shaped) as visual prompts. These flowcharts are then combined with a benign textual prompt to execute a jailbreak attack on LVLMs. Our evaluations using the Advbench dataset show that FC-Attack achieves over 90% attack success rates on Gemini-1.5, Llaval-Next, Qwen2-VL, and InternVL-2.5 models, outperforming existing LVLM jailbreak methods. Additionally, we investigate factors affecting the attack performance, including the number of steps and the font styles in the flowcharts. Our evaluation shows that FC-Attack can improve the jailbreak performance from 4% to 28% in Claude-3.5 by changing the font style. To mitigate the attack, we explore several defenses and find that AdaShield can largely reduce the jailbreak performance but with the cost of utility drop.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、いくつかの実用的な応用において強力で広く採用されている。 しかし、最近の研究により、マルチモーダル・ジェイルブレイク攻撃に対する脆弱性が明らかにされており、モデルが有害なコンテンツを生成するために誘導され、安全性のリスクが生じる可能性がある。 ほとんどのLVLMは安全アライメントを受けていますが、最近の研究では、視覚的モダリティがまだジェイルブレイク攻撃に弱いことが示されています。 本研究では, 部分的に有害な情報を持つフローチャートを使用することで, LVLMを誘導し, 有害な詳細を付加することを発見した。 そこで本研究では,自動生成フローチャートFC-Attackに基づくジェイルブレイク攻撃手法を提案する。 具体的には、FC-Attackはまず事前訓練されたLLMを微調整し、良質なデータセットに基づいたステップ記述ジェネレータを生成する。 次にジェネレータを使用して、有害なクエリに対応するステップ記述を生成し、視覚的なプロンプトとして3つの異なる形状(垂直、水平、S字形)のフローチャートに変換する。 これらのフローチャートは、LVLMに対してジェイルブレイク攻撃を実行するための良質なテキストプロンプトと組み合わせられる。 本稿では, FC-AttackがGemini-1.5, Llaval-Next, Qwen2-VL, InternVL-2.5モデルに対して90%以上の攻撃成功率を達成し, 既存のLVLMジェイルブレイク法より優れていることを示す。 さらに,フローチャートのステップ数やフォントスタイルなど,攻撃性能に影響する要因についても検討する。 評価の結果,FC-Attackはフォントスタイルを変えることにより,Claude-3.5のジェイルブレイク性能を4%から28%向上できることがわかった。 攻撃を緩和するため、いくつかの防御策を探索し、AdaShieldが脱獄性能を大幅に低下させるが、実用コストは低下する。

関連論文リスト

• Prefill-Based Jailbreak: A Novel Approach of Bypassing LLM Safety Boundary [2.4329261266984346]
  LLM(Large Language Models)は、有用で安全なコンテンツを生成するように設計されている。 一般的にジェイルブレイクと呼ばれる 敵の攻撃は 安全プロトコルをバイパスできる LLMのプリフィル機能を利用した新しいジェイルブレイク攻撃手法を提案する。
  論文  参考訳（メタデータ） (2025-04-28T07:38:43Z)
• Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
  私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。 私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。 我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
  論文  参考訳（メタデータ） (2025-01-05T19:06:03Z)
• IDEATOR: Jailbreaking Large Vision-Language Models Using Themselves [67.30731020715496]
  ブラックボックスのジェイルブレイク攻撃に対して,悪意のある画像テキストペアを自動生成する新しいジェイルブレイク手法 IDEATOR を提案する。 IDEATORはVLMを使用して、ターゲットとなるJailbreakテキストを作成し、最先端の拡散モデルによって生成されたJailbreakイメージと組み合わせる。 平均5.34クエリでMiniGPT-4をジェイルブレイクし、LLaVA、InstructBLIP、Meta's Chameleonに転送すると82%、88%、75%という高い成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-29T07:15:56Z)
• AdaPPA: Adaptive Position Pre-Fill Jailbreak Attack Approach Targeting LLMs [34.221522224051846]
  大規模言語モデル(LLM)に対するジェイルブレイク攻撃を適応的に行うための適応的位置補充型ジェイルブレイク攻撃手法を提案する。 提案手法は,提案モデルの命令追従能力を利用して,まず安全なコンテンツを出力し,次にその物語シフト能力を利用して有害なコンテンツを生成する。 本手法は,従来の手法と比較して,広く認識されているセキュアモデル(Llama2)において,攻撃成功率を47%向上させることができる。
  論文  参考訳（メタデータ） (2024-09-11T00:00:58Z)
• h4rm3l: A language for Composable Jailbreak Attack Synthesis [48.5611060845958]
  h4rm3lは、人間が読めるドメイン固有言語とのギャップに対処する新しいアプローチである。 我々は、h4rm3lの合成攻撃は、文献における既存のジェイルブレイク攻撃よりも多様で、より成功していることを示す。
  論文  参考訳（メタデータ） (2024-08-09T01:45:39Z)
• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• WildTeaming at Scale: From In-the-Wild Jailbreaks to (Adversarially) Safer Language Models [66.34505141027624]
  我々は、WildTeamingを紹介した。これは自動LLM安全リチームフレームワークで、Wild-Chatbotインタラクションをマイニングし、新しいジェイルブレイク戦術の5.7Kのユニークなクラスタを発見する。 WildTeamingは、未確認のフロンティアLSMの脆弱性を明らかにし、最大4.6倍の多様性と敵の攻撃に成功した。
  論文  参考訳（メタデータ） (2024-06-26T17:31:22Z)
• Weak-to-Strong Jailbreaking on Large Language Models [96.50953637783581]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 既存のジェイルブレイク法は計算コストがかかる。 我々は、弱々しく強固な脱獄攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-30T18:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。