論文の概要: Detect-and-Guide: Self-regulation of Diffusion Models for Safe Text-to-Image Generation via Guideline Token Optimization

• arxiv url: http://arxiv.org/abs/2503.15197v1
• Date: Wed, 19 Mar 2025 13:37:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:23:21.599050
• Title: Detect-and-Guide: Self-regulation of Diffusion Models for Safe Text-to-Image Generation via Guideline Token Optimization
• Title（参考訳）: Detect-and-Guide:ガイドライントークン最適化による安全なテキスト・画像生成のための拡散モデルの自己制御
• Authors: Feifei Li, Mi Zhang, Yiming Sun, Min Yang,
• Abstract要約: 有害なコンテンツを生成するテキストと画像の拡散モデルに対する懸念が高まっている。 概念アンラーニングや安全ガイダンスのようなポストホックモデルの介入技術は、これらのリスクを軽減するために開発されている。 本稿では,自己診断と詳細な自己制御を行うための安全生成フレームワークであるDector-and-Guide(DAG)を提案する。 DAGは最先端の安全な生成性能を実現し、有害性軽減とテキスト追跡性能を現実のプロンプトでバランスさせる。
• 参考スコア（独自算出の注目度）: 22.225141381422873
• License:
• Abstract: Text-to-image diffusion models have achieved state-of-the-art results in synthesis tasks; however, there is a growing concern about their potential misuse in creating harmful content. To mitigate these risks, post-hoc model intervention techniques, such as concept unlearning and safety guidance, have been developed. However, fine-tuning model weights or adapting the hidden states of the diffusion model operates in an uninterpretable way, making it unclear which part of the intermediate variables is responsible for unsafe generation. These interventions severely affect the sampling trajectory when erasing harmful concepts from complex, multi-concept prompts, thus hindering their practical use in real-world settings. In this work, we propose the safe generation framework Detect-and-Guide (DAG), leveraging the internal knowledge of diffusion models to perform self-diagnosis and fine-grained self-regulation during the sampling process. DAG first detects harmful concepts from noisy latents using refined cross-attention maps of optimized tokens, then applies safety guidance with adaptive strength and editing regions to negate unsafe generation. The optimization only requires a small annotated dataset and can provide precise detection maps with generalizability and concept specificity. Moreover, DAG does not require fine-tuning of diffusion models, and therefore introduces no loss to their generation diversity. Experiments on erasing sexual content show that DAG achieves state-of-the-art safe generation performance, balancing harmfulness mitigation and text-following performance on multi-concept real-world prompts.
• Abstract（参考訳）: テキストと画像の拡散モデルは、合成タスクにおいて最先端の結果を得たが、有害なコンテンツを作成する際の誤用の可能性については懸念が高まっている。 これらのリスクを軽減するため、非学習や安全ガイダンスといったポストホックモデル介入技術が開発されている。 しかし、微調整モデルウェイトや拡散モデルの隠れ状態の適応は、解釈不能な方法で動作し、中間変数のどの部分が安全でない生成に寄与しているかは明らかでない。 これらの介入は、複雑で多概念的なプロンプトから有害な概念を消去する際のサンプリング軌道に深刻な影響を与え、現実の環境での使用を妨げている。 本研究では,拡散モデルの内部知識を活用して,サンプリングプロセス中に自己診断と微細な自己制御を行う安全な生成フレームワークであるDector-and-Guide(DAG)を提案する。 DAGはまず、最適化トークンの改良されたクロスアテンションマップを用いて、ノイズの多い潜伏者から有害な概念を検知し、適応強度と編集領域による安全誘導を適用し、安全でない生成を無効にする。 この最適化は、小さな注釈付きデータセットのみを必要とし、一般化可能性と概念的特異性を備えた正確な検出マップを提供する。 さらに、DAGは拡散モデルの微調整を必要としないため、その生成多様性に損失は生じない。 性的内容の消去実験により,DAGは,多概念現実世界のプロンプト上での有害性軽減とテキスト追跡性能のバランスを保ちながら,最先端のセーフジェネレーション性能を達成することが示された。

関連論文リスト

• Safety Alignment Backfires: Preventing the Re-emergence of Suppressed Concepts in Fine-tuned Text-to-Image Diffusion Models [57.16056181201623]
  微調整されたテキストと画像の拡散モデルは、必然的に安全対策を解除し、有害な概念を再現する。 本報告では,Funice-Tuning LoRAコンポーネントとは別に,安全性の低い適応モジュールをトレーニングする,Modular LoRAと呼ばれる新しいソリューションを提案する。 本手法は,新しいタスクにおけるモデルの性能を損なうことなく,有害なコンテンツの再学習を効果的に防止する。
  論文  参考訳（メタデータ） (2024-11-30T04:37:38Z)
• Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [88.18235230849554]
  大規模で未処理のデータセットでマルチモーダル生成モデルをトレーニングすることで、ユーザは有害で安全でない、議論の余地のない、文化的に不適切なアウトプットにさらされる可能性がある。 我々は、安全な埋め込みと、より安全な画像を生成するために、潜伏空間の重み付け可能な総和による修正拡散プロセスを活用する。 安全と検閲のトレードオフを特定し、倫理的AIモデルの開発に必要な視点を提示します。
  論文  参考訳（メタデータ） (2024-11-21T09:47:13Z)
• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)
• Perturb, Attend, Detect and Localize (PADL): Robust Proactive Image Defense [5.150608040339816]
  本稿では,クロスアテンションに基づく符号化と復号の対称スキームを用いて,画像固有の摂動を生成する新しいソリューションであるPADLを紹介する。 提案手法は,StarGANv2,BlendGAN,DiffAE,StableDiffusion,StableDiffusionXLなど,さまざまなアーキテクチャ設計の未確認モデルに一般化する。
  論文  参考訳（メタデータ） (2024-09-26T15:16:32Z)
• Revealing Vulnerabilities in Stable Diffusion via Targeted Attacks [41.531913152661296]
  本稿では,安定拡散に対する標的対向攻撃の問題を定式化し,対向的プロンプトを生成するための枠組みを提案する。 具体的には、安定した拡散を誘導し、特定の画像を生成するための信頼性の高い逆プロンプトを構築するために、勾配に基づく埋め込み最適化を設計する。 逆方向のプロンプトを成功させた後、モデルの脆弱性を引き起こすメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2024-01-16T12:15:39Z)
• Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
  本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。 具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。 設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
  論文  参考訳（メタデータ） (2023-12-18T15:25:23Z)
• Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models? [52.238883592674696]
  Ring-A-Bellは、T2I拡散モデルのためのモデルに依存しないレッドチームツールである。 これは、不適切なコンテンツの生成に対応する拡散モデルに対する問題的プロンプトを特定する。 この結果から,安全プロンプトベンチマークの操作により,既存の安全メカニズムを回避できると考えられるプロンプトを変換できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-16T02:11:20Z)
• LEAT: Towards Robust Deepfake Disruption in Real-World Scenarios via Latent Ensemble Attack [11.764601181046496]
  生成モデルによって作成された悪意のある視覚コンテンツであるディープフェイクは、社会にますます有害な脅威をもたらす。 近年のディープフェイクの損傷を積極的に軽減するために, 逆方向の摂動を用いてディープフェイクモデルの出力を妨害する研究が進められている。 そこで本研究では,Latent Ensemble ATtack (LEAT) と呼ばれる簡易かつ効果的なディスラプション手法を提案する。
  論文  参考訳（メタデータ） (2023-07-04T07:00:37Z)
• SafeDiffuser: Safe Planning with Diffusion Probabilistic Models [97.80042457099718]
  拡散モデルに基づくアプローチは、データ駆動計画において有望であるが、安全保証はない。 我々は,拡散確率モデルが仕様を満たすことを保証するために,SafeDiffuserと呼ばれる新しい手法を提案する。 提案手法は,迷路経路の生成,足歩行ロボットの移動,空間操作など,安全な計画作業の一連のテストを行う。
  論文  参考訳（メタデータ） (2023-05-31T19:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。