論文の概要: Removing Undesirable Concepts in Text-to-Image Diffusion Models with Learnable Prompts

• arxiv url: http://arxiv.org/abs/2403.12326v2
• Date: Mon, 15 Jul 2024 01:32:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-17 01:25:37.979968
• Title: Removing Undesirable Concepts in Text-to-Image Diffusion Models with Learnable Prompts
• Title（参考訳）: 学習可能なプロンプトを用いたテキスト・画像拡散モデルにおける望ましくない概念の除去
• Authors: Anh Bui, Khanh Doan, Trung Le, Paul Montague, Tamas Abraham, Dinh Phung,
• Abstract要約: 本稿では,学習可能なプロンプトをモジュールに組み込むことにより,テキストから画像への拡散モデルから望ましくない概念を除去する手法を提案する。 この学習可能なプロンプトは追加記憶として働き、望ましくない概念の知識を捉える。 本研究では, 安定拡散モデルにおける本手法の有効性を実証し, 最先端消去法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 23.04942433104886
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Diffusion models have shown remarkable capability in generating visually impressive content from textual descriptions. However, these models are trained on vast internet data, much of which contains undesirable elements such as sensitive content, copyrighted material, and unethical or harmful concepts. Therefore, beyond generating high-quality content, it is crucial to ensure these models do not propagate these undesirable elements. To address this issue, we propose a novel method to remove undesirable concepts from text-to-image diffusion models by incorporating a learnable prompt into the cross-attention module. This learnable prompt acts as additional memory, capturing the knowledge of undesirable concepts and reducing their dependency on the model parameters and corresponding textual inputs. By transferring this knowledge to the prompt, erasing undesirable concepts becomes more stable and has minimal negative impact on other concepts. We demonstrate the effectiveness of our method on the Stable Diffusion model, showcasing its superiority over state-of-the-art erasure methods in removing undesirable content while preserving unrelated elements.
• Abstract（参考訳）: 拡散モデルは、テキスト記述から視覚的に印象的なコンテンツを生成する際、顕著な能力を示した。 しかし、これらのモデルは膨大なインターネットデータに基づいて訓練されており、その多くは機密性のあるコンテンツ、著作権のある素材、非倫理的または有害な概念などの望ましくない要素を含んでいる。 したがって、高品質なコンテンツを生成すること以外にも、これらのモデルがこれらの望ましくない要素を伝播しないようにすることが不可欠である。 そこで本研究では,学習可能なプロンプトをクロスアテンションモジュールに組み込むことにより,テキスト・画像拡散モデルから望ましくない概念を除去する手法を提案する。 この学習可能なプロンプトは追加のメモリとして機能し、望ましくない概念の知識を取り込み、モデルパラメータと対応するテキスト入力への依存を減らす。 この知識を即座に伝達することにより、望ましくない概念の消去はより安定し、他の概念に最小限の負の影響を与える。 本研究では,本手法の安定拡散モデルにおける有効性を示すとともに,非関係要素を保存しつつ,望ましくないコンテンツを除去する最先端の消去法よりも優れていることを示す。

関連論文リスト

• Sculpting Memory: Multi-Concept Forgetting in Diffusion Models via Dynamic Mask and Concept-Aware Optimization [20.783312940122297]
  テキスト・ツー・イメージ(T2I)拡散モデルは,テキスト・プロンプトから高品質な画像を生成することに成功している。 しかし、膨大な量の知識を蓄積する能力は、選択的に忘れることが必要なシナリオに懸念を生じさせる。 マルチコンセプトを忘れるように設計された新しいアンラーニングフレームワークであるコンセプト・アウェア・ロスを併用したtextbfDynamic Maskを提案する。
  論文  参考訳（メタデータ） (2025-04-12T01:38:58Z)
• SAeUron: Interpretable Concept Unlearning in Diffusion Models with Sparse Autoencoders [4.013156524547073]
  拡散モデルは、必然的に有害または望ましくないコンテンツを生成できる。 最近の機械学習アプローチは潜在的な解決策を提供するが、透明性を欠いていることが多い。 スパースオートエンコーダによって学習された特徴を活用する新しい手法であるSAeUronを紹介する。
  論文  参考訳（メタデータ） (2025-01-29T23:29:47Z)
• Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [88.18235230849554]
  大規模で未処理のデータセットでマルチモーダル生成モデルをトレーニングすることで、ユーザは有害で安全でない、議論の余地のない、文化的に不適切なアウトプットにさらされる可能性がある。 我々は、安全な埋め込みと、より安全な画像を生成するために、潜伏空間の重み付け可能な総和による修正拡散プロセスを活用する。 安全と検閲のトレードオフを特定し、倫理的AIモデルの開発に必要な視点を提示します。
  論文  参考訳（メタデータ） (2024-11-21T09:47:13Z)
• How to Continually Adapt Text-to-Image Diffusion Models for Flexible Customization? [91.49559116493414]
  本稿では,CIDM(Concept-Incremental Text-to-image Diffusion Model)を提案する。 破滅的な忘れと概念の無視を解決し、新しいカスタマイズタスクを概念的な方法で学習する。 実験により、CIDMが既存のカスタム拡散モデルを上回ることが確認された。
  論文  参考訳（メタデータ） (2024-10-23T06:47:29Z)
• Erasing Undesirable Concepts in Diffusion Models with Adversarial Preservation [22.3077678575067]
  拡散モデルは、テキストから視覚的に印象的なコンテンツを生成するのに優れています。 本稿では,パラメータ変化によって最も影響を受ける概念を同定し,保存することを提案する。 安定拡散モデルを用いて本手法の有効性を実証し, 不要なコンテンツの除去において, 最先端の消去方法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-21T03:40:29Z)
• EIUP: A Training-Free Approach to Erase Non-Compliant Concepts Conditioned on Implicit Unsafe Prompts [32.590822043053734]
  非有毒なテキストは、暗黙の安全でないプロンプトと呼ばれる非準拠のイメージを生成するリスクを伴っている。 我々は、非準拠の概念を消去プロンプトに組み込む、単純で効果的なアプローチを提案する。 本手法は,画像の忠実度を高いスコアで評価しながら,優れた消去効果を示す。
  論文  参考訳（メタデータ） (2024-08-02T05:17:14Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Safeguard Text-to-Image Diffusion Models with Human Feedback Inversion [51.931083971448885]
  本稿では,Human Feedback Inversion (HFI) というフレームワークを提案する。 実験の結果,画像品質を維持しながら,好ましくないコンテンツ生成を著しく削減し,公的な領域におけるAIの倫理的展開に寄与することが示された。
  論文  参考訳（メタデータ） (2024-07-17T05:21:41Z)
• Six-CD: Benchmarking Concept Removals for Benign Text-to-image Diffusion Models [58.74606272936636]
  テキスト・ツー・イメージ(T2I)拡散モデルは、テキスト・プロンプトと密接に対応した画像を生成する際、例外的な機能を示す。 モデルは、暴力やヌードの画像を生成したり、不適切な文脈で公共の人物の無許可の肖像画を作成するなど、悪意ある目的のために利用することができる。 悪質な概念や望ましくない概念の発生を防ぐために拡散モデルを変更する概念除去法が提案されている。
  論文  参考訳（メタデータ） (2024-06-21T03:58:44Z)
• Pruning for Robust Concept Erasing in Diffusion Models [27.67237515704348]
  概念消去のための新しいプルーニングベースの戦略を導入する。 本手法は, 除去対象概念に関連する重要なパラメータを選択的に抽出し, 概念関連ニューロンの感度を低下させる。 実験の結果, 逆入力に抵抗するモデルの能力は著しく向上した。
  論文  参考訳（メタデータ） (2024-05-26T11:42:20Z)
• Get What You Want, Not What You Don't: Image Content Suppression for Text-to-Image Diffusion Models [86.92711729969488]
  テキスト埋め込みの操作方法を分析し、不要なコンテンツを除去する。 第1は、テキスト埋め込み行列を正規化し、望ましくないコンテンツを効果的に抑制する。 第2の方法は、プロンプトの不要なコンテンツ生成をさらに抑制し、所望のコンテンツの生成を促進することである。
  論文  参考訳（メタデータ） (2024-02-08T03:15:06Z)
• Receler: Reliable Concept Erasing of Text-to-Image Diffusion Models via Lightweight Erasers [24.64639078273091]
  テキストから画像への拡散モデルにおける概念消去は、対象概念に関連する画像の生成から事前学習された拡散モデルを無効にすることを目的としている。 軽量エローザ(レセラー)による信頼性概念消去の提案
  論文  参考訳（メタデータ） (2023-11-29T15:19:49Z)
• Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models? [52.238883592674696]
  Ring-A-Bellは、T2I拡散モデルのためのモデルに依存しないレッドチームツールである。 これは、不適切なコンテンツの生成に対応する拡散モデルに対する問題的プロンプトを特定する。 この結果から,安全プロンプトベンチマークの操作により,既存の安全メカニズムを回避できると考えられるプロンプトを変換できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-16T02:11:20Z)
• Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion Models [63.20512617502273]
  テキストから画像への拡散モデルにおいて,問題のあるコンテンツ生成を防止するため,SDDと呼ばれる手法を提案する。 本手法は,画像の全体的な品質を劣化させることなく,生成した画像から有害なコンテンツをはるかに多く除去する。
  論文  参考訳（メタデータ） (2023-07-12T07:48:29Z)
• Forget-Me-Not: Learning to Forget in Text-to-Image Diffusion Models [79.50701155336198]
  textbfForget-Me-Notは、適切に設定されたテキスト・ツー・イメージモデルから、指定されたID、オブジェクト、スタイルを30秒で安全に削除するように設計されている。 我々は,Forget-Me-Notが,モデルの性能を他の概念に保ちながら,ターゲットとなる概念を効果的に排除できることを実証した。 また、Stable Diffusionの軽量モデルパッチとして適応することができ、コンセプト操作と便利な配布を可能にしている。
  論文  参考訳（メタデータ） (2023-03-30T17:58:11Z)
• Ablating Concepts in Text-to-Image Diffusion Models [57.9371041022838]
  大規模テキスト・画像拡散モデルでは、強力な構成能力を持つ高忠実度画像を生成することができる。 これらのモデルは典型的には膨大な量のインターネットデータに基づいて訓練されており、しばしば著作権のある資料、ライセンスされた画像、個人写真を含んでいる。 本稿では,事前訓練されたモデルにおいて,目標概念の生成を防止し,効率的に概念を宣言する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T17:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。