論文の概要: Distorting Embedding Space for Safety: A Defense Mechanism for Adversarially Robust Diffusion Models

• arxiv url: http://arxiv.org/abs/2501.18877v1
• Date: Fri, 31 Jan 2025 04:14:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:36.565616
• Title: Distorting Embedding Space for Safety: A Defense Mechanism for Adversarially Robust Diffusion Models
• Title（参考訳）: 安全のためのエンベディング空間の歪み:逆ロバスト拡散モデルに対する防御機構
• Authors: Jaesin Ahn, Heechul Jung,
• Abstract要約: Distorting Embedding Space (DES) はテキストエンコーダベースの防御機構である。 DESは、アンセーフプロンプトを用いてテキストエンコーダから抽出されたアンセーフな埋め込みを、慎重に計算された安全な埋め込み領域に変換する。 DESはまた、敵攻撃に対する堅牢性を高めるために、中立的な埋め込みと整列することで、即時ヌードを用いて抽出されたヌード埋め込みを中和する。
• 参考スコア（独自算出の注目度）: 4.5656369638728656
• License:
• Abstract: Text-to-image diffusion models show remarkable generation performance following text prompts, but risk generating Not Safe For Work (NSFW) contents from unsafe prompts. Existing approaches, such as prompt filtering or concept unlearning, fail to defend against adversarial attacks while maintaining benign image quality. In this paper, we propose a novel approach called Distorting Embedding Space (DES), a text encoder-based defense mechanism that effectively tackles these issues through innovative embedding space control. DES transforms unsafe embeddings, extracted from a text encoder using unsafe prompts, toward carefully calculated safe embedding regions to prevent unsafe contents generation, while reproducing the original safe embeddings. DES also neutralizes the nudity embedding, extracted using prompt ``nudity", by aligning it with neutral embedding to enhance robustness against adversarial attacks. These methods ensure both robust defense and high-quality image generation. Additionally, DES can be adopted in a plug-and-play manner and requires zero inference overhead, facilitating its deployment. Extensive experiments on diverse attack types, including black-box and white-box scenarios, demonstrate DES's state-of-the-art performance in both defense capability and benign image generation quality. Our model is available at https://github.com/aei13/DES.
• Abstract（参考訳）: テキスト間の拡散モデルでは、テキストプロンプトに続く顕著な生成性能を示すが、安全でないプロンプトからNot Safe For Work(NSFW)コンテンツを生成するリスクがある。 プロンプトフィルタリングや概念アンラーニングのような既存のアプローチは、良質な画像品質を維持しながら敵の攻撃に対して防御することができない。 本稿では,テキストエンコーダをベースとした防衛機構であるDES(Distorting Embedding Space)を提案する。 DESは、アンセーフプロンプトを用いてテキストエンコーダから抽出されたアンセーフな埋め込みを慎重に計算したセーフな埋め込み領域に変換し、元のセーフな埋め込みを再生する。 DESはまた、敵攻撃に対する堅牢性を高めるために、中性埋め込みと整合させることにより、プロンプトの ``nudity' を使って抽出されたヌード埋め込みを中和する。 これらの方法は、堅牢な防御と高品質な画像生成の両方を保証する。 さらに、DESはプラグイン・アンド・プレイ方式で採用でき、推論のオーバーヘッドがゼロで、デプロイが容易になる。 ブラックボックスとホワイトボックスのシナリオを含む多様な攻撃タイプに関する広範な実験は、DESの防御能力と良質な画像生成品質の両方における最先端のパフォーマンスを実証している。 私たちのモデルはhttps://github.com/aei13/DES.comで利用可能です。

関連論文リスト

• AdvI2I: Adversarial Image Attack on Image-to-Image Diffusion models [20.37481116837779]
  AdvI2Iは、入力画像を操作して拡散モデルを誘導し、NSFWコンテンツを生成する新しいフレームワークである。 ジェネレータを最適化して敵画像を作成することで、AdvI2Iは既存の防御機構を回避できる。 本稿では,AdvI2IとAdvI2I-Adaptiveの両方が,現行の安全対策を効果的に回避可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-28T19:15:06Z)
• SAFREE: Training-Free and Adaptive Guard for Safe Text-to-Image And Video Generation [65.30207993362595]
  安全な生成のための学習/編集に基づく手法は、モデルから有害な概念を取り除くが、いくつかの課題に直面している。 安全なT2IとT2VのためのトレーニングフリーアプローチであるSAFREEを提案する。 テキスト埋め込み空間における有毒な概念の集合に対応する部分空間を検出し、この部分空間から直ちに埋め込みを行う。
  論文  参考訳（メタデータ） (2024-10-16T17:32:23Z)
• EIUP: A Training-Free Approach to Erase Non-Compliant Concepts Conditioned on Implicit Unsafe Prompts [32.590822043053734]
  非有毒なテキストは、暗黙の安全でないプロンプトと呼ばれる非準拠のイメージを生成するリスクを伴っている。 我々は、非準拠の概念を消去プロンプトに組み込む、単純で効果的なアプローチを提案する。 本手法は,画像の忠実度を高いスコアで評価しながら,優れた消去効果を示す。
  論文  参考訳（メタデータ） (2024-08-02T05:17:14Z)
• R.A.C.E.: Robust Adversarial Concept Erasure for Secure Text-to-Image Diffusion Model [31.2030795154036]
  textbfRobust textbfAdrial textbfConcept textbfErase (RACE)は、これらのリスクを軽減するために設計された新しいアプローチである。 RACEは高度な対向訓練フレームワークを使用して、対向テキストの埋め込みを識別し緩和する。 本評価は,白箱攻撃と黒箱攻撃の双方に対して,RASの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-05-25T19:56:01Z)
• Latent Guard: a Safety Framework for Text-to-image Generation [64.49596711025993]
  既存の安全対策は、容易に回避できるテキストブラックリストや有害なコンテンツ分類に基づいている。 テキスト・ツー・イメージ生成の安全性向上を目的としたフレームワークであるLatent Guardを提案する。 ブラックリストベースのアプローチにインスパイアされたLatent Guardは、T2Iモデルのテキストエンコーダの上に潜在空間を学習し、有害な概念の存在を確認することができる。
  論文  参考訳（メタデータ） (2024-04-11T17:59:52Z)
• Jailbreaking Prompt Attack: A Controllable Adversarial Attack against Diffusion Models [10.70975463369742]
  JPA(Jailbreaking Prompt Attack)について紹介する。 JPAは、アントロニムのグループを使用してテキスト埋め込みスペース内のターゲットの悪意ある概念を検索する。 プレフィックスプロンプトは離散語彙空間で最適化され、テキスト埋め込み空間において悪意ある概念を意味的に整合させる。
  論文  参考訳（メタデータ） (2024-04-02T09:49:35Z)
• Breaking Free: How to Hack Safety Guardrails in Black-Box Diffusion Models! [52.0855711767075]
  EvoSeedは、フォトリアリスティックな自然対向サンプルを生成するための進化戦略に基づくアルゴリズムフレームワークである。 我々は,CMA-ESを用いて初期種ベクトルの探索を最適化し,条件付き拡散モデルで処理すると,自然逆数サンプルをモデルで誤分類する。 実験の結果, 生成した対向画像は画像品質が高く, 安全分類器を通過させることで有害なコンテンツを生成する懸念が高まっていることがわかった。
  論文  参考訳（メタデータ） (2024-02-07T09:39:29Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)
• Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models? [52.238883592674696]
  Ring-A-Bellは、T2I拡散モデルのためのモデルに依存しないレッドチームツールである。 これは、不適切なコンテンツの生成に対応する拡散モデルに対する問題的プロンプトを特定する。 この結果から,安全プロンプトベンチマークの操作により,既存の安全メカニズムを回避できると考えられるプロンプトを変換できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-16T02:11:20Z)
• Prompting4Debugging: Red-Teaming Text-to-Image Diffusion Models by Finding Problematic Prompts [63.61248884015162]
  テキストと画像の拡散モデルは、高品質なコンテンツ生成において顕著な能力を示している。 本研究では,拡散モデルの問題を自動検出するツールとして,Prompting4 Debugging (P4D)を提案する。 この結果から,従来のセーフプロンプトベンチマークの約半数は,本来 "セーフ" と考えられていたので,実際に多くのデプロイされた安全機構を回避できることがわかった。
  論文  参考訳（メタデータ） (2023-09-12T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。