論文の概要: Multimodal Pragmatic Jailbreak on Text-to-image Models

• arxiv url: http://arxiv.org/abs/2409.19149v1
• Date: Fri, 27 Sep 2024 21:23:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 04:11:01.564835
• Title: Multimodal Pragmatic Jailbreak on Text-to-image Models
• Title（参考訳）: テキスト・ツー・イメージモデルにおけるマルチモーダル・プラグマティック・ジェイルブレイク
• Authors: Tong Liu, Zhixin Lai, Gengyuan Zhang, Philip Torr, Vera Demberg, Volker Tresp, Jindong Gu,
• Abstract要約: この研究は、新しいタイプのjailbreakを導入し、T2Iモデルをトリガーして、ビジュアルテキストで画像を生成する。 2つのオープンソース商用モデルを含む9つの代表的なT2Iモデルをベンチマークする。 テストされたすべてのモデルはこの種のジェイルブレイクに悩まされており、安全でない世代の割合は8%から74%である。
• 参考スコア（独自算出の注目度）: 43.67831238116829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have recently achieved remarkable advancements in terms of image quality and fidelity to textual prompts. Concurrently, the safety of such generative models has become an area of growing concern. This work introduces a novel type of jailbreak, which triggers T2I models to generate the image with visual text, where the image and the text, although considered to be safe in isolation, combine to form unsafe content. To systematically explore this phenomenon, we propose a dataset to evaluate the current diffusion-based text-to-image (T2I) models under such jailbreak. We benchmark nine representative T2I models, including two close-source commercial models. Experimental results reveal a concerning tendency to produce unsafe content: all tested models suffer from such type of jailbreak, with rates of unsafe generation ranging from 8\% to 74\%. In real-world scenarios, various filters such as keyword blocklists, customized prompt filters, and NSFW image filters, are commonly employed to mitigate these risks. We evaluate the effectiveness of such filters against our jailbreak and found that, while current classifiers may be effective for single modality detection, they fail to work against our jailbreak. Our work provides a foundation for further development towards more secure and reliable T2I models.
• Abstract（参考訳）: 拡散モデルは最近、画像の品質とテキストのプロンプトへの忠実度の観点から、顕著な進歩を遂げている。 同時に、このような生成モデルの安全性は、懸念の高まりの領域となっている。 この研究は、新しいタイプのjailbreakを導入し、T2Iモデルをトリガーして画像とテキストを視覚テキストで生成する。 本稿では,この現象を体系的に探求するために,現在の拡散ベーステキスト・ツー・イメージ(T2I)モデルを評価するデータセットを提案する。 2つのオープンソース商用モデルを含む9つの代表的なT2Iモデルをベンチマークする。 実験結果から、安全でないコンテンツを生成する傾向が明らかとなった。全てのテストされたモデルは、この種のジェイルブレイクに悩まされ、安全でない生成率は8\%から74\%である。 現実のシナリオでは、キーワードブロックリスト、カスタマイズされたプロンプトフィルタ、NSFWイメージフィルタなどの様々なフィルタが、これらのリスクを軽減するために一般的に使用される。 このようなフィルタの有効性をジェイルブレイクに対して評価したところ、現在の分類器は単一のモダリティ検出に有効であるが、ジェイルブレイクに対して機能しないことがわかった。 我々の研究は、よりセキュアで信頼性の高いT2Iモデルに向けたさらなる開発基盤を提供する。

関連論文リスト

• CROPS: Model-Agnostic Training-Free Framework for Safe Image Synthesis with Latent Diffusion Models [13.799517170191919]
  最近の研究では、安全チェッカーは敵の攻撃に対して脆弱性があることが示されており、NSFW(Not Safe For Work)イメージを生成することができる。 我々は、NSFW画像を生成する敵攻撃に対して、追加の訓練を必要とせずに容易に防御できるモデルに依存しないフレームワークであるCROPSを提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:43:21Z)
• PromptLA: Towards Integrity Verification of Black-box Text-to-Image Diffusion Models [16.67563247104523]
  現在のテキスト・ツー・イメージ(T2I)拡散モデルは高品質な画像を生成することができる。 良心的な目的のためにのみこのモデルを使用することを許可された悪意あるユーザーは、自分のモデルを変更して、有害な社会的影響をもたらす画像を生成するかもしれない。 本稿では,T2I拡散モデルの高精度かつ高精度な完全性検証のための新しいプロンプト選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-20T07:24:32Z)
• SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models [77.80595722480074]
  SleeperMarkは、回復力のある透かしをT2I拡散モデルに埋め込むように設計された新しいフレームワークである。 モデルは、学習したセマンティック概念から透かし情報を切り離し、埋め込み透かしを保持することができる。 各種拡散モデルにおけるSleeperMarkの有効性について実験を行った。
  論文  参考訳（メタデータ） (2024-12-06T08:44:18Z)
• ShieldDiff: Suppressing Sexual Content Generation from Diffusion Models through Reinforcement Learning [7.099258248662009]
  テキスト・ツー・イメージ(T2I)モデルは、不快な内容の安全でない画像を生成する可能性がある。 我々の研究では、T2IモデルからNSFW(職場では安全ではない)コンテンツ生成を排除することに重点を置いています。 本稿では,CLIP(Contrastive Language- Image Pre-Trening)とヌード報酬(nudity rewards)から構成される独自の報酬関数を提案する。
  論文  参考訳（メタデータ） (2024-10-04T19:37:56Z)
• Chain-of-Jailbreak Attack for Image Generation Models via Editing Step by Step [62.82566977845765]
  ステップバイステップの編集プロセスを通じて画像生成モデルを損なう、Chain-of-Jailbreak (CoJ)アタックと呼ばれる新しいジェイルブレイク手法を提案する。 我々のCoJ攻撃手法は、60%以上のケースでモデルの保護を回避できる。 また,効果的なプロンプトベース手法であるThink Twice Promptingを提案する。
  論文  参考訳（メタデータ） (2024-10-04T19:04:43Z)
• Direct Unlearning Optimization for Robust and Safe Text-to-Image Models [29.866192834825572]
  モデルが潜在的に有害なコンテンツを生成する能力を取り除くために、未学習の技術が開発されている。 これらの手法は敵の攻撃によって容易に回避され、生成した画像の安全性を確保するには信頼性が低い。 T2IモデルからNot Safe For Work(NSFW)コンテンツを除去するための新しいフレームワークであるDirect Unlearning Optimization (DUO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T08:19:11Z)
• Six-CD: Benchmarking Concept Removals for Benign Text-to-image Diffusion Models [58.74606272936636]
  テキスト・ツー・イメージ(T2I)拡散モデルは、テキスト・プロンプトと密接に対応した画像を生成する際、例外的な機能を示す。 モデルは、暴力やヌードの画像を生成したり、不適切な文脈で公共の人物の無許可の肖像画を作成するなど、悪意ある目的のために利用することができる。 悪質な概念や望ましくない概念の発生を防ぐために拡散モデルを変更する概念除去法が提案されている。
  論文  参考訳（メタデータ） (2024-06-21T03:58:44Z)
• Latent Guard: a Safety Framework for Text-to-image Generation [64.49596711025993]
  既存の安全対策は、容易に回避できるテキストブラックリストや有害なコンテンツ分類に基づいている。 テキスト・ツー・イメージ生成の安全性向上を目的としたフレームワークであるLatent Guardを提案する。 ブラックリストベースのアプローチにインスパイアされたLatent Guardは、T2Iモデルのテキストエンコーダの上に潜在空間を学習し、有害な概念の存在を確認することができる。
  論文  参考訳（メタデータ） (2024-04-11T17:59:52Z)
• Jailbreaking Prompt Attack: A Controllable Adversarial Attack against Diffusion Models [10.70975463369742]
  JPA(Jailbreaking Prompt Attack)について紹介する。 JPAは、アントロニムのグループを使用してテキスト埋め込みスペース内のターゲットの悪意ある概念を検索する。 プレフィックスプロンプトは離散語彙空間で最適化され、テキスト埋め込み空間において悪意ある概念を意味的に整合させる。
  論文  参考訳（メタデータ） (2024-04-02T09:49:35Z)
• Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models? [52.238883592674696]
  Ring-A-Bellは、T2I拡散モデルのためのモデルに依存しないレッドチームツールである。 これは、不適切なコンテンツの生成に対応する拡散モデルに対する問題的プロンプトを特定する。 この結果から,安全プロンプトベンチマークの操作により,既存の安全メカニズムを回避できると考えられるプロンプトを変換できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-16T02:11:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。