論文の概要: Concept Replacer: Replacing Sensitive Concepts in Diffusion Models via Precision Localization

• arxiv url: http://arxiv.org/abs/2412.01244v2
• Date: Tue, 03 Dec 2024 04:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:45:19.864614
• Title: Concept Replacer: Replacing Sensitive Concepts in Diffusion Models via Precision Localization
• Title（参考訳）: 概念置換器:精密局所化による拡散モデルにおける感性概念の置き換え
• Authors: Lingyun Zhang, Yu Xie, Yanwei Fu, Ping Chen,
• Abstract要約: 大規模な拡散モデルは高品質な画像を生成するが、しばしば性的に明示的なコンテンツや暴力的なコンテンツのような望ましくないコンテンツを生成する。 本研究では,非対象領域に影響を及ぼすことなく,特定の概念を除去することが可能な拡散モデルにおいて,対象概念を置き換えるための新しい手法を提案する。 本手法では,最小限のラベル付きデータを必要とする数発の学習で学習し,目標概念を正確に識別する専用概念ローカライザを提案する。 特定領域内では,DPCA(Dual Prompts Cross-Attention)モジュールが導入された。
• 参考スコア（独自算出の注目度）: 48.20360860166279
• License:
• Abstract: As large-scale diffusion models continue to advance, they excel at producing high-quality images but often generate unwanted content, such as sexually explicit or violent content. Existing methods for concept removal generally guide the image generation process but can unintentionally modify unrelated regions, leading to inconsistencies with the original model. We propose a novel approach for targeted concept replacing in diffusion models, enabling specific concepts to be removed without affecting non-target areas. Our method introduces a dedicated concept localizer for precisely identifying the target concept during the denoising process, trained with few-shot learning to require minimal labeled data. Within the identified region, we introduce a training-free Dual Prompts Cross-Attention (DPCA) module to substitute the target concept, ensuring minimal disruption to surrounding content. We evaluate our method on concept localization precision and replacement efficiency. Experimental results demonstrate that our method achieves superior precision in localizing target concepts and performs coherent concept replacement with minimal impact on non-target areas, outperforming existing approaches.
• Abstract（参考訳）: 大規模な拡散モデルが進歩を続けるにつれて、彼らは高品質な画像の作成に長けているが、しばしば性的に明示的なコンテンツや暴力的なコンテンツのような望ましくないコンテンツを生成する。 既存の概念除去手法は一般的に画像生成過程を導くが、意図せず無関係な領域を修正できるため、元のモデルと矛盾する。 本研究では,非対象領域に影響を及ぼすことなく,特定の概念を除去することが可能な拡散モデルにおいて,対象概念を置き換えるための新しい手法を提案する。 本手法では,最小限のラベル付きデータを必要とする数発の学習で学習し,目標概念を正確に識別する専用概念ローカライザを提案する。 特定領域内では,DPCA(Dual Prompts Cross-Attention)モジュールが導入された。 提案手法は,概念の局所化精度と置換効率を評価する。 実験の結果,提案手法は目標概念のローカライズに優れた精度を実現し,非目標領域への影響を最小限に抑えてコヒーレントな概念置換を行い,既存手法より優れていることが示された。

関連論文リスト

• TIDE: Training Locally Interpretable Domain Generalization Models Enables Test-time Correction [14.396966854171273]
  単一ソース領域の一般化の問題を考える。 既存の手法は通常、訓練中に様々な領域を合成的にカバーする広範囲な拡張に依存している。 予測において,そのような局所的な概念を活用するためにモデルを補完する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-25T08:46:37Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Few-Shot Image Generation by Conditional Relaxing Diffusion Inversion [37.18537753482751]
  条件拡散緩和インバージョン(CRDI)は、合成画像生成における分布の多様性を高めるために設計されている。 CRDIはいくつかのサンプルに基づいた微調整を頼りにしていない。 ターゲットの画像インスタンスの再構築と、数ショットの学習による多様性の拡大に重点を置いている。
  論文  参考訳（メタデータ） (2024-07-09T21:58:26Z)
• Six-CD: Benchmarking Concept Removals for Benign Text-to-image Diffusion Models [58.74606272936636]
  テキスト・ツー・イメージ(T2I)拡散モデルは、テキスト・プロンプトと密接に対応した画像を生成する際、例外的な機能を示す。 モデルは、暴力やヌードの画像を生成したり、不適切な文脈で公共の人物の無許可の肖像画を作成するなど、悪意ある目的のために利用することができる。 悪質な概念や望ましくない概念の発生を防ぐために拡散モデルを変更する概念除去法が提案されている。
  論文  参考訳（メタデータ） (2024-06-21T03:58:44Z)
• Unlearning Concepts in Diffusion Model via Concept Domain Correction and Concept Preserving Gradient [20.698305103879232]
  我々はtextbfDoCo (textbfDomaintextbfCorrection) という新しい概念領域補正フレームワークを提案する。 本手法は, 対象概念の包括的未学習を保証し, 先進的学習を通して, センシティブな概念とアンカーの概念の出力領域を整合させることにより, 対象概念の包括的未学習を確実にする。 また、矛盾する勾配成分を緩和し、特定の概念を学習しながらモデルの実用性を維持するための概念保存的勾配手術手法も導入する。
  論文  参考訳（メタデータ） (2024-05-24T07:47:36Z)
• Personalized Residuals for Concept-Driven Text-to-Image Generation [29.052642845759372]
  テキストと画像の拡散モデルを用いた効率的な概念駆動型生成のためのパーソナライズされた残差と局所的な注意誘導サンプリングを提案する。 正規化画像を用いることなく,1つのGPU上で概念のアイデンティティを3分で効果的にキャプチャできることを,パーソナライズされた残差が示す。
  論文  参考訳（メタデータ） (2024-05-21T17:59:01Z)
• Infusion: Preventing Customized Text-to-Image Diffusion from Overfitting [51.606819347636076]
  本研究では, 概念知識を損なう概念非依存オーバーフィッティングと, 限られたモダリティのカスタマイズに限定した概念特化オーバーフィッティングを分析した。 Infusionは、ターゲット概念の学習を、限られた訓練モダリティによって制限されるのを避けることができるT2Iカスタマイズ手法である。
  論文  参考訳（メタデータ） (2024-04-22T09:16:25Z)
• Compositional Inversion for Stable Diffusion Models [64.79261401944994]
  ユーザ画像から提供される関心の概念を取り入れてパーソナライズされた画像を生成する。 既存の方法はしばしば過度に適合する問題に悩まされ、倒立概念の圧倒的な存在が他の望ましい概念の欠如につながっている。 本稿では,合成埋め込みのコア分布への反転過程を導出する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-13T10:57:46Z)
• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。