論文の概要: Jailbreaking Safeguarded Text-to-Image Models via Large Language Models

• arxiv url: http://arxiv.org/abs/2503.01839v1
• Date: Mon, 03 Mar 2025 18:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:27:14.238864
• Title: Jailbreaking Safeguarded Text-to-Image Models via Large Language Models
• Title（参考訳）: 大規模言語モデルによるジェイルブレイク保護テキスト・画像モデル
• Authors: Zhengyuan Jiang, Yuepeng Hu, Yuchen Yang, Yinzhi Cao, Neil Zhenqiang Gong,
• Abstract要約: 安全ガードレールを用いたジェイルブレイク型テキスト・ツー・イメージモデルであるPromptTuneを提案する。 他のクエリベースのジェイルブレイク攻撃とは異なり、攻撃は攻撃LLMを微調整した後、敵のプロンプトを効率的に生成する。 提案手法は安全ガードレールを効果的に回避し,既存のno-box攻撃より優れ,クエリベースの攻撃も容易であることを示す。
• 参考スコア（独自算出の注目度）: 44.253924518111695
• License:
• Abstract: Text-to-Image models may generate harmful content, such as pornographic images, particularly when unsafe prompts are submitted. To address this issue, safety filters are often added on top of text-to-image models, or the models themselves are aligned to reduce harmful outputs. However, these defenses remain vulnerable when an attacker strategically designs adversarial prompts to bypass these safety guardrails. In this work, we propose PromptTune, a method to jailbreak text-to-image models with safety guardrails using a fine-tuned large language model. Unlike other query-based jailbreak attacks that require repeated queries to the target model, our attack generates adversarial prompts efficiently after fine-tuning our AttackLLM. We evaluate our method on three datasets of unsafe prompts and against five safety guardrails. Our results demonstrate that our approach effectively bypasses safety guardrails, outperforms existing no-box attacks, and also facilitates other query-based attacks.
• Abstract（参考訳）: テキスト・トゥ・イメージ・モデルは、特に安全でないプロンプトが送信された場合、ポルノ画像のような有害なコンテンツを生成できる。 この問題に対処するため、セーフティフィルタはテキスト・ツー・イメージ・モデルの上にしばしば追加されるか、有害な出力を減らすためにモデル自体が整列されている。 しかし、攻撃者が敵を戦略的に設計し、これらの安全ガードレールを回避しようとすると、これらの防御は依然として脆弱である。 本研究では,大規模言語モデルを用いた安全ガードレールを用いたジェイルブレイク型テキスト・ツー・イメージモデルであるPromptTuneを提案する。 ターゲットモデルに対する繰り返しクエリを必要とする他のクエリベースのジェイルブレイク攻撃とは異なり、アタックLLMを微調整した後、我々の攻撃は敵のプロンプトを効率的に生成する。 安全でないプロンプトの3つのデータセットと5つの安全ガードレールについて,本手法の評価を行った。 提案手法は安全ガードレールを効果的に回避し,既存のno-box攻撃より優れ,クエリベースの攻撃も容易であることを示す。

関連論文リスト

• CROPS: Model-Agnostic Training-Free Framework for Safe Image Synthesis with Latent Diffusion Models [13.799517170191919]
  最近の研究では、安全チェッカーは敵の攻撃に対して脆弱性があることが示されており、NSFW(Not Safe For Work)イメージを生成することができる。 我々は、NSFW画像を生成する敵攻撃に対して、追加の訓練を必要とせずに容易に防御できるモデルに依存しないフレームワークであるCROPSを提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:43:21Z)
• Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
  私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。 私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。 我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
  論文  参考訳（メタデータ） (2025-01-05T19:06:03Z)
• A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。 我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• Chain-of-Jailbreak Attack for Image Generation Models via Editing Step by Step [62.82566977845765]
  ステップバイステップの編集プロセスを通じて画像生成モデルを損なう、Chain-of-Jailbreak (CoJ)アタックと呼ばれる新しいジェイルブレイク手法を提案する。 我々のCoJ攻撃手法は、60%以上のケースでモデルの保護を回避できる。 また,効果的なプロンプトベース手法であるThink Twice Promptingを提案する。
  論文  参考訳（メタデータ） (2024-10-04T19:04:43Z)
• BaThe: Defense against the Jailbreak Attack in Multimodal Large Language Models by Treating Harmful Instruction as Backdoor Trigger [67.75420257197186]
  本研究では,単純なジェイルブレイク防御機構である$textbfBaTheを提案する。 ジェイルブレイクバックドア攻撃は、手作りの弦と組み合わされた有害な命令をトリガーとして使用し、バックドアモデルが禁止された応答を生成する。 有害な命令がトリガーとして機能し、代わりにリジェクション応答をトリガー応答として設定すれば、バックドアモデルがジェイルブレイク攻撃に対して防御できると仮定する。
  論文  参考訳（メタデータ） (2024-08-17T04:43:26Z)
• Prefix Guidance: A Steering Wheel for Large Language Models to Defend Against Jailbreak Attacks [27.11523234556414]
  我々は,プリフィックスガイダンス(PG)という,プラグアンドプレイで容易に配置可能なジェイルブレイク防御フレームワークを提案する。 PGは、モデルの出力の最初の数個のトークンを直接設定することで、有害なプロンプトを特定するようモデルに誘導する。 3つのモデルと5つの攻撃方法におけるPGの有効性を実証する。
  論文  参考訳（メタデータ） (2024-08-15T14:51:32Z)
• Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
  本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。 特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
  論文  参考訳（メタデータ） (2024-06-06T13:00:42Z)
• ART: Automatic Red-teaming for Text-to-Image Models to Protect Benign Users [18.3621509910395]
  そこで本研究では,テキスト・ツー・イメージ・モデルの安全性を評価するために,新しい自動レッド・チーム・フレームワークARTを提案する。 包括的実験により、人気のあるオープンソーステキスト・ツー・イメージモデルの毒性を明らかにする。 また、テキスト・ツー・イメージ・モデルに関連する安全性リスクを研究するために、大規模な3つの赤チームデータセットも導入する。
  論文  参考訳（メタデータ） (2024-05-24T07:44:27Z)
• ImgTrojan: Jailbreaking Vision-Language Models with ONE Image [37.80216561793555]
  視覚言語モデル(VLM)に対する新しいジェイルブレイク攻撃を提案する。 トレーニングデータに有毒な(画像、テキスト)データペアを含めるシナリオが想定されます。 原文のキャプションを悪意のあるジェイルブレイクプロンプトに置き換えることにより、この手法は毒画像を用いてジェイルブレイク攻撃を行うことができる。
  論文  参考訳（メタデータ） (2024-03-05T12:21:57Z)
• SurrogatePrompt: Bypassing the Safety Filter of Text-to-Image Models via Substitution [21.93748586123046]
  我々は、Midjourneyに対する最初の即時攻撃を開発し、その結果、豊富なNSFW画像が生成される。 我々のフレームワークであるSurrogatePromptは、大規模言語モデル、画像からテキスト、画像から画像へのモジュールを利用して、攻撃プロンプトを体系的に生成する。 その結果、Midjourneyのプロプライエタリな安全フィルタを攻撃プロンプトでバイパスして88%の成功率を明らかにした。
  論文  参考訳（メタデータ） (2023-09-25T13:20:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。