論文の概要: SurrogatePrompt: Bypassing the Safety Filter of Text-to-Image Models via Substitution

• arxiv url: http://arxiv.org/abs/2309.14122v3
• Date: Thu, 17 Oct 2024 03:34:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:16:41.671916
• Title: SurrogatePrompt: Bypassing the Safety Filter of Text-to-Image Models via Substitution
• Title（参考訳）: SurrogatePrompt:置換によるテキスト・画像モデルの安全性フィルタをバイパスする
• Authors: Zhongjie Ba, Jieming Zhong, Jiachen Lei, Peng Cheng, Qinglong Wang, Zhan Qin, Zhibo Wang, Kui Ren,
• Abstract要約: 我々は、Midjourneyに対する最初の即時攻撃を開発し、その結果、豊富なNSFW画像が生成される。 我々のフレームワークであるSurrogatePromptは、大規模言語モデル、画像からテキスト、画像から画像へのモジュールを利用して、攻撃プロンプトを体系的に生成する。 その結果、Midjourneyのプロプライエタリな安全フィルタを攻撃プロンプトでバイパスして88%の成功率を明らかにした。
• 参考スコア（独自算出の注目度）: 21.93748586123046
• License:
• Abstract: Advanced text-to-image models such as DALL$\cdot$E 2 and Midjourney possess the capacity to generate highly realistic images, raising significant concerns regarding the potential proliferation of unsafe content. This includes adult, violent, or deceptive imagery of political figures. Despite claims of rigorous safety mechanisms implemented in these models to restrict the generation of not-safe-for-work (NSFW) content, we successfully devise and exhibit the first prompt attacks on Midjourney, resulting in the production of abundant photorealistic NSFW images. We reveal the fundamental principles of such prompt attacks and suggest strategically substituting high-risk sections within a suspect prompt to evade closed-source safety measures. Our novel framework, SurrogatePrompt, systematically generates attack prompts, utilizing large language models, image-to-text, and image-to-image modules to automate attack prompt creation at scale. Evaluation results disclose an 88% success rate in bypassing Midjourney's proprietary safety filter with our attack prompts, leading to the generation of counterfeit images depicting political figures in violent scenarios. Both subjective and objective assessments validate that the images generated from our attack prompts present considerable safety hazards.
• Abstract（参考訳）: DALL$\cdot$E 2やMidjourneyのような先進的なテキスト・ツー・イメージモデルには、非常にリアルな画像を生成する能力があり、安全でないコンテンツの潜在的な拡散に関する重大な懸念を提起している。 これには、政治的人物の大人、暴力的、または軽蔑的なイメージが含まれる。 安全でない作業(NSFW)コンテンツの生成を制限するためにこれらのモデルに厳密な安全機構が実装されているにもかかわらず、我々はMidjourneyに対する最初の迅速な攻撃を考案し、その結果、豊富なフォトリアリスティックなNSFW画像を生成することに成功した。 本研究では,このような攻撃の基本的な原則を明らかにするとともに,被疑者内の高リスク区間を戦略的に代替し,クローズドソースの安全対策を回避することを提案する。 我々の新しいフレームワークであるSurrogatePromptは、大規模言語モデル、画像とテキスト、画像と画像のモジュールを利用して、攻撃のプロンプトを体系的に生成し、大規模に攻撃のプロンプトを自動生成する。 評価結果によると、Midjourneyのプロプライエタリな安全フィルタを攻撃プロンプトでバイパスする成功率は88%であり、暴力的なシナリオで政治的人物を描写した偽造画像が生成される。 主観的および客観的な評価は、攻撃によって生成された画像がかなりの安全性の危険をもたらすことを証明している。

関連論文リスト

• AdvI2I: Adversarial Image Attack on Image-to-Image Diffusion models [20.37481116837779]
  AdvI2Iは、入力画像を操作して拡散モデルを誘導し、NSFWコンテンツを生成する新しいフレームワークである。 ジェネレータを最適化して敵画像を作成することで、AdvI2Iは既存の防御機構を回避できる。 本稿では,AdvI2IとAdvI2I-Adaptiveの両方が,現行の安全対策を効果的に回避可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-28T19:15:06Z)
• TrojVLM: Backdoor Attack Against Vision Language Models [50.87239635292717]
  本研究では、視覚言語モデル(VLM)を対象としたバックドアアタックの最初の調査であるTrojVLMを紹介する。 TrojVLMは、有毒な画像に遭遇したとき、所定のターゲットテキストを出力テキストに挿入する。 画像内容のセマンティックな整合性を確保するために,新たなセマンティック保存損失を提案する。
  論文  参考訳（メタデータ） (2024-09-28T04:37:09Z)
• EIUP: A Training-Free Approach to Erase Non-Compliant Concepts Conditioned on Implicit Unsafe Prompts [32.590822043053734]
  非有毒なテキストは、暗黙の安全でないプロンプトと呼ばれる非準拠のイメージを生成するリスクを伴っている。 我々は、非準拠の概念を消去プロンプトに組み込む、単純で効果的なアプローチを提案する。 本手法は,画像の忠実度を高いスコアで評価しながら,優れた消去効果を示す。
  論文  参考訳（メタデータ） (2024-08-02T05:17:14Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Principles of Designing Robust Remote Face Anti-Spoofing Systems [60.05766968805833]
  本稿では,デジタル攻撃に対する最先端の対面防止手法の脆弱性に光を当てる。 反偽造システムに遭遇する一般的な脅威を包括的に分類する。
  論文  参考訳（メタデータ） (2024-06-06T02:05:35Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• ART: Automatic Red-teaming for Text-to-Image Models to Protect Benign Users [18.3621509910395]
  そこで本研究では,テキスト・ツー・イメージ・モデルの安全性を評価するために,新しい自動レッド・チーム・フレームワークARTを提案する。 包括的実験により、人気のあるオープンソーステキスト・ツー・イメージモデルの毒性を明らかにする。 また、テキスト・ツー・イメージ・モデルに関連する安全性リスクを研究するために、大規模な3つの赤チームデータセットも導入する。
  論文  参考訳（メタデータ） (2024-05-24T07:44:27Z)
• On the Proactive Generation of Unsafe Images From Text-To-Image Models Using Benign Prompts [38.63253101205306]
  従来の研究は、操作されたプロンプトがテキスト・ツー・イメージ・モデルを用いて安全でない画像を生成することを実証してきた。 基本攻撃と実用性維持攻撃の2つの毒素攻撃を提案する。 本研究は,実世界のシナリオにおけるテキスト・ツー・イメージ・モデル導入の潜在的なリスクを明らかにするものである。
  論文  参考訳（メタデータ） (2023-10-25T13:10:44Z)
• Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models? [52.238883592674696]
  Ring-A-Bellは、T2I拡散モデルのためのモデルに依存しないレッドチームツールである。 これは、不適切なコンテンツの生成に対応する拡散モデルに対する問題的プロンプトを特定する。 この結果から,安全プロンプトベンチマークの操作により,既存の安全メカニズムを回避できると考えられるプロンプトを変換できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-16T02:11:20Z)
• Prompting4Debugging: Red-Teaming Text-to-Image Diffusion Models by Finding Problematic Prompts [63.61248884015162]
  テキストと画像の拡散モデルは、高品質なコンテンツ生成において顕著な能力を示している。 本研究では,拡散モデルの問題を自動検出するツールとして,Prompting4 Debugging (P4D)を提案する。 この結果から,従来のセーフプロンプトベンチマークの約半数は,本来 "セーフ" と考えられていたので,実際に多くのデプロイされた安全機構を回避できることがわかった。
  論文  参考訳（メタデータ） (2023-09-12T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。