論文の概要: FC-Attack: Jailbreaking Large Vision-Language Models via Auto-Generated Flowcharts

• arxiv url: http://arxiv.org/abs/2502.21059v1
• Date: Fri, 28 Feb 2025 13:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:44:30.545646
• Title: FC-Attack: Jailbreaking Large Vision-Language Models via Auto-Generated Flowcharts
• Title（参考訳）: FC-Attack:自動生成フローチャートによる大型ビジョンランゲージモデルの脱獄
• Authors: Ziyi Zhang, Zhen Sun, Zongmin Zhang, Jihui Guo, Xinlei He,
• Abstract要約: 本稿では,自動生成フローチャートFC-Attackに基づくジェイルブレイク攻撃手法を提案する。 FC-AttackはGemini-1.5、Llaval-Next、Qwen2-VL、InternVL-2.5で90%以上の攻撃成功率を達成した。 攻撃を緩和するため、いくつかの防御策を探索し、AdaShieldが脱獄性能を大幅に低下させるが、実用コストは低下する。
• 参考スコア（独自算出の注目度）: 20.323340637767327
• License:
• Abstract: Large Vision-Language Models (LVLMs) have become powerful and widely adopted in some practical applications. However, recent research has revealed their vulnerability to multimodal jailbreak attacks, whereby the model can be induced to generate harmful content, leading to safety risks. Although most LVLMs have undergone safety alignment, recent research shows that the visual modality is still vulnerable to jailbreak attacks. In our work, we discover that by using flowcharts with partially harmful information, LVLMs can be induced to provide additional harmful details. Based on this, we propose a jailbreak attack method based on auto-generated flowcharts, FC-Attack. Specifically, FC-Attack first fine-tunes a pre-trained LLM to create a step-description generator based on benign datasets. The generator is then used to produce step descriptions corresponding to a harmful query, which are transformed into flowcharts in 3 different shapes (vertical, horizontal, and S-shaped) as visual prompts. These flowcharts are then combined with a benign textual prompt to execute a jailbreak attack on LVLMs. Our evaluations using the Advbench dataset show that FC-Attack achieves over 90% attack success rates on Gemini-1.5, Llaval-Next, Qwen2-VL, and InternVL-2.5 models, outperforming existing LVLM jailbreak methods. Additionally, we investigate factors affecting the attack performance, including the number of steps and the font styles in the flowcharts. Our evaluation shows that FC-Attack can improve the jailbreak performance from 4% to 28% in Claude-3.5 by changing the font style. To mitigate the attack, we explore several defenses and find that AdaShield can largely reduce the jailbreak performance but with the cost of utility drop.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、いくつかの実用的な応用において強力で広く採用されている。 しかし、最近の研究により、マルチモーダル・ジェイルブレイク攻撃に対する脆弱性が明らかにされており、モデルが有害なコンテンツを生成するために誘導され、安全性のリスクが生じる可能性がある。 ほとんどのLVLMは安全アライメントを受けていますが、最近の研究では、視覚的モダリティがまだジェイルブレイク攻撃に弱いことが示されています。 本研究では, 部分的に有害な情報を持つフローチャートを使用することで, LVLMを誘導し, 有害な詳細を付加することを発見した。 そこで本研究では,自動生成フローチャートFC-Attackに基づくジェイルブレイク攻撃手法を提案する。 具体的には、FC-Attackはまず事前訓練されたLLMを微調整し、良質なデータセットに基づいたステップ記述ジェネレータを生成する。 次にジェネレータを使用して、有害なクエリに対応するステップ記述を生成し、視覚的なプロンプトとして3つの異なる形状(垂直、水平、S字形)のフローチャートに変換する。 これらのフローチャートは、LVLMに対してジェイルブレイク攻撃を実行するための良質なテキストプロンプトと組み合わせられる。 本稿では, FC-AttackがGemini-1.5, Llaval-Next, Qwen2-VL, InternVL-2.5モデルに対して90%以上の攻撃成功率を達成し, 既存のLVLMジェイルブレイク法より優れていることを示す。 さらに,フローチャートのステップ数やフォントスタイルなど,攻撃性能に影響する要因についても検討する。 評価の結果,FC-Attackはフォントスタイルを変えることにより,Claude-3.5のジェイルブレイク性能を4%から28%向上できることがわかった。 攻撃を緩和するため、いくつかの防御策を探索し、AdaShieldが脱獄性能を大幅に低下させるが、実用コストは低下する。

関連論文リスト

• Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
  私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。 私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。 我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
  論文  参考訳（メタデータ） (2025-01-05T19:06:03Z)
• IDEATOR: Jailbreaking Large Vision-Language Models Using Themselves [67.30731020715496]
  ブラックボックスのジェイルブレイク攻撃に対して,悪意のある画像テキストペアを自動生成する新しいジェイルブレイク手法 IDEATOR を提案する。 IDEATORはVLMを使用して、ターゲットとなるJailbreakテキストを作成し、最先端の拡散モデルによって生成されたJailbreakイメージと組み合わせる。 平均5.34クエリでMiniGPT-4をジェイルブレイクし、LLaVA、InstructBLIP、Meta's Chameleonに転送すると82%、88%、75%という高い成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-29T07:15:56Z)
• Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
  そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。 また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。 本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-10-15T06:31:04Z)
• AdaPPA: Adaptive Position Pre-Fill Jailbreak Attack Approach Targeting LLMs [34.221522224051846]
  大規模言語モデル(LLM)に対するジェイルブレイク攻撃を適応的に行うための適応的位置補充型ジェイルブレイク攻撃手法を提案する。 提案手法は,提案モデルの命令追従能力を利用して,まず安全なコンテンツを出力し,次にその物語シフト能力を利用して有害なコンテンツを生成する。 本手法は,従来の手法と比較して,広く認識されているセキュアモデル(Llama2)において,攻撃成功率を47%向上させることができる。
  論文  参考訳（メタデータ） (2024-09-11T00:00:58Z)
• HSF: Defending against Jailbreak Attacks with Hidden State Filtering [14.031010511732008]
  隠れ状態フィルタ(HSF)に基づくジェイルブレイク攻撃防御戦略を提案する。 HSFは、推論プロセスが始まる前に、モデルが相手の入力をプリエンプティブに識別し、拒否することを可能にする。 不正なユーザクエリに対する応答を最小限に抑えながら、Jailbreak攻撃の成功率を大幅に低下させる。
  論文  参考訳（メタデータ） (2024-08-31T06:50:07Z)
• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• WildTeaming at Scale: From In-the-Wild Jailbreaks to (Adversarially) Safer Language Models [66.34505141027624]
  我々は、WildTeamingを紹介した。これは自動LLM安全リチームフレームワークで、Wild-Chatbotインタラクションをマイニングし、新しいジェイルブレイク戦術の5.7Kのユニークなクラスタを発見する。 WildTeamingは、未確認のフロンティアLSMの脆弱性を明らかにし、最大4.6倍の多様性と敵の攻撃に成功した。
  論文  参考訳（メタデータ） (2024-06-26T17:31:22Z)
• Weak-to-Strong Jailbreaking on Large Language Models [96.50953637783581]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 既存のジェイルブレイク法は計算コストがかかる。 我々は、弱々しく強固な脱獄攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-30T18:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。