論文の概要: Gradient-based Jailbreak Images for Multimodal Fusion Models

• arxiv url: http://arxiv.org/abs/2410.03489v1
• Date: Wed, 23 Oct 2024 13:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 21:59:46.008526
• Title: Gradient-based Jailbreak Images for Multimodal Fusion Models
• Title（参考訳）: 多モード核融合モデルのための勾配ベースジェイルブレイク画像
• Authors: Javier Rando, Hannah Korevaar, Erik Brinkman, Ivan Evtimov, Florian Tramèr,
• Abstract要約: イメージ入力による言語モデルの強化は、より効果的なジェイルブレイク攻撃を可能にする可能性がある。 マルチモーダル融合モデルは、非微分可能関数を使用して全ての入力モダリティをトークン化する。 ジェイルブレイク画像は、同じ目的で最適化されたテキストジェイルブレイクよりも優れています。
• 参考スコア（独自算出の注目度）: 18.89661641660289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Augmenting language models with image inputs may enable more effective jailbreak attacks through continuous optimization, unlike text inputs that require discrete optimization. However, new multimodal fusion models tokenize all input modalities using non-differentiable functions, which hinders straightforward attacks. In this work, we introduce the notion of a tokenizer shortcut that approximates tokenization with a continuous function and enables continuous optimization. We use tokenizer shortcuts to create the first end-to-end gradient image attacks against multimodal fusion models. We evaluate our attacks on Chameleon models and obtain jailbreak images that elicit harmful information for 72.5% of prompts. Jailbreak images outperform text jailbreaks optimized with the same objective and require 3x lower compute budget to optimize 50x more input tokens. Finally, we find that representation engineering defenses, like Circuit Breakers, trained only on text attacks can effectively transfer to adversarial image inputs.
• Abstract（参考訳）: 画像入力による言語モデルの強化は、個別の最適化を必要とするテキスト入力とは異なり、継続的な最適化を通じてより効果的なジェイルブレイク攻撃を可能にする可能性がある。 しかし、新しいマルチモーダル融合モデルでは、非微分可能関数を用いて全ての入力モダリティをトークン化し、直接攻撃を妨げている。 本稿では,トークン化を連続関数と近似し,連続的な最適化を可能にするトークン化ショートカットの概念を紹介する。 我々はトークンライザショートカットを用いて、マルチモーダル融合モデルに対する最初のエンドツーエンドの勾配画像アタックを生成する。 我々は、Chameleonモデルに対する攻撃を評価し、72.5%のプロンプトに対して有害な情報をもたらすジェイルブレイク画像を取得する。 Jailbreakイメージは、同じ目的で最適化されたテキストジェイルブレークよりも優れており、50倍の入力トークンを最適化するためには、計算予算が3倍低い。 最後に、Circuit Breakersのような表現工学の防御は、テキストアタックのみで訓練され、敵画像の入力に効果的に転送できることがわかった。

関連論文リスト

• IDEATOR: Jailbreaking Large Vision-Language Models Using Themselves [67.30731020715496]
  ブラックボックスのジェイルブレイク攻撃に対して,悪意のある画像テキストペアを自動生成する新しいジェイルブレイク手法 IDEATOR を提案する。 IDEATORはVLMを使用して、ターゲットとなるJailbreakテキストを作成し、最先端の拡散モデルによって生成されたJailbreakイメージと組み合わせる。 平均5.34クエリでMiniGPT-4をジェイルブレイクし、LLaVA、InstructBLIP、Meta's Chameleonに転送すると82%、88%、75%という高い成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-29T07:15:56Z)
• RT-Attack: Jailbreaking Text-to-Image Models via Random Token [24.61198605177661]
  ランダム検索を利用した2段階のクエリベースのブラックボックスアタック手法を提案する。 第1段階では、敵と標的の有害なプロンプト間の意味的類似性を最大化することにより、予備的なプロンプトを確立する。 第2段階では、この初期プロンプトを使用してアプローチを洗練し、脱獄を目的とした詳細な敵対的プロンプトを作成します。
  論文  参考訳（メタデータ） (2024-08-25T17:33:40Z)
• Multimodal Unlearnable Examples: Protecting Data against Multimodal Contrastive Learning [53.766434746801366]
  マルチモーダル・コントラッシブ・ラーニング (MCL) は、インターネットから何百万ものイメージ・キャプション・ペアから学習することで、ゼロショット分類において顕著な進歩を見せている。 ハッカーは、個人やプライバシーに敏感な情報を含む、モデルトレーニングのために画像テキストデータを不正に活用する可能性がある。 近年の研究では、保護のためのショートカットを構築するための訓練画像に知覚不能な摂動を加えることで、学習不可能な例を生成することを提案する。 マルチステップ誤り最小化(MEM)を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:00:52Z)
• Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
  本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。 特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
  論文  参考訳（メタデータ） (2024-06-06T13:00:42Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• Universal Prompt Optimizer for Safe Text-to-Image Generation [27.32589928097192]
  ブラックボックスシナリオにおける安全なT2I(POSI)生成のための最初の普遍的プロンプトを提案する。 提案手法は,不適切な画像を生成する際の様々なT2Iモデルの可能性を効果的に低減することができる。
  論文  参考訳（メタデータ） (2024-02-16T18:36:36Z)
• AutoDAN: Interpretable Gradient-Based Adversarial Attacks on Large Language Models [55.748851471119906]
  LLM(Large Language Models)の安全性の整合性は、手動のジェイルブレイク攻撃や(自動)敵攻撃によって損なわれる可能性がある。 最近の研究は、これらの攻撃に対する防御が可能であることを示唆している。敵攻撃は無限だが読めないジベリッシュプロンプトを生成し、難易度に基づくフィルタによって検出できる。 両攻撃の強度をマージする,解釈可能な勾配に基づく対向攻撃であるAutoDANを導入する。
  論文  参考訳（メタデータ） (2023-10-23T17:46:07Z)
• High-Fidelity Guided Image Synthesis with Latent Diffusion Models [50.39294302741698]
  提案手法は, ユーザ満足度スコアを85.32%以上上回り, 従来の最先端技術よりも優れていた。 人的ユーザ調査の結果、提案手法は、全体のユーザ満足度スコアにおいて、従来の最先端技術よりも85.32%以上優れていたことが示されている。
  論文  参考訳（メタデータ） (2022-11-30T15:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。