論文の概要: Localized Concept Erasure for Text-to-Image Diffusion Models Using Training-Free Gated Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2503.12356v1
• Date: Sun, 16 Mar 2025 04:53:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:35:11.005137
• Title: Localized Concept Erasure for Text-to-Image Diffusion Models Using Training-Free Gated Low-Rank Adaptation
• Title（参考訳）: 学習自由Gated Low-Rank適応を用いたテキスト・画像拡散モデルの局所的概念消去
• Authors: Byung Hyun Lee, Sungjin Lim, Se Young Chun,
• Abstract要約: ファインチューニングに基づく概念消去は,テキスト・画像拡散モデルから有害なコンテンツの発生を防止する上で有望な結果を示した。 画像中の対象概念を含む特定領域のみを削除可能な,局所的概念消去というフレームワークを導入する。 本稿では,Gated Low-rank adaptation for Concept Erasure (GLoCE) と呼ばれる,軽量モジュールを拡散モデルに注入する学習自由アプローチを提案する。
• 参考スコア（独自算出の注目度）: 12.098673137752861
• License:
• Abstract: Fine-tuning based concept erasing has demonstrated promising results in preventing generation of harmful contents from text-to-image diffusion models by removing target concepts while preserving remaining concepts. To maintain the generation capability of diffusion models after concept erasure, it is necessary to remove only the image region containing the target concept when it locally appears in an image, leaving other regions intact. However, prior arts often compromise fidelity of the other image regions in order to erase the localized target concept appearing in a specific area, thereby reducing the overall performance of image generation. To address these limitations, we first introduce a framework called localized concept erasure, which allows for the deletion of only the specific area containing the target concept in the image while preserving the other regions. As a solution for the localized concept erasure, we propose a training-free approach, dubbed Gated Low-rank adaptation for Concept Erasure (GLoCE), that injects a lightweight module into the diffusion model. GLoCE consists of low-rank matrices and a simple gate, determined only by several generation steps for concepts without training. By directly applying GLoCE to image embeddings and designing the gate to activate only for target concepts, GLoCE can selectively remove only the region of the target concepts, even when target and remaining concepts coexist within an image. Extensive experiments demonstrated GLoCE not only improves the image fidelity to text prompts after erasing the localized target concepts, but also outperforms prior arts in efficacy, specificity, and robustness by large margin and can be extended to mass concept erasure.
• Abstract（参考訳）: ファインチューニングに基づく概念消去は,テキスト間拡散モデルから有害な内容の生成を防止し,残った概念を保存しつつ,目標概念を除去することで有望な結果を示した。 概念消去後の拡散モデルの生成能力を維持するためには,画像中に局所的に現れるターゲット概念を含む画像領域のみを除去し,他の領域をそのままにしておく必要がある。 しかし,先行技術は特定の領域に現れる局所目標概念を消去するため,他の画像領域の忠実度を損なうことが多く,画像生成の全体的な性能が低下する。 これらの制約に対処するため,我々はまず,画像中の対象概念を含む特定の領域のみを削除し,他の領域を保存できる「局所化概念消去」というフレームワークを導入する。 局所化概念消去の解法として,Gated Low-rank adaptation for Concept Erasure (GLoCE) と呼ばれる,軽量モジュールを拡散モデルに注入する学習自由アプローチを提案する。 GLoCEは低ランク行列と単純なゲートで構成されており、学習なしで概念を学習するための数世代ステップによってのみ決定される。 GLoCEを画像埋め込みに直接適用し、ターゲットコンセプトのみを活性化するゲートを設計することにより、ターゲットコンセプトと残りの概念が画像内に共存している場合でも、ターゲットコンセプトの領域のみを選択的に除去することができる。 広汎な実験により、GLoCEは局所的対象概念を消去した後のテキストプロンプトに対する画像忠実度を向上するだけでなく、有効性、特異性、ロバスト性を大きなマージンで向上させ、大量概念消去にまで拡張できることを示した。

関連論文リスト

• Fantastic Targets for Concept Erasure in Diffusion Models and Where To Find Them [21.386640828092524]
  概念消去は拡散モデルにおける有害なコンテンツ生成のリスクを軽減するための有望な手法として現れてきた。 本稿では,各望ましくない概念に合わせて最適な目標概念を動的に選択するAdaptive Guided Erasure (AGE)法を提案する。 その結果, AGEは, 有効消去性能を維持しつつ, 無関係な概念を保存し, 最先端の消去手法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-31T08:17:23Z)
• ACE: Anti-Editing Concept Erasure in Text-to-Image Models [73.00930293474009]
  既存の概念消去手法は、削除された概念がプロンプトから生成されるのを防ぐために優れた結果が得られる。 本稿では、生成時にターゲット概念を消去するだけでなく、編集時に除去する反編集概念消去(ACE)手法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T04:57:27Z)
• OmniPrism: Learning Disentangled Visual Concept for Image Generation [57.21097864811521]
  創造的な視覚概念の生成は、しばしば関連する結果を生み出すために参照イメージ内の特定の概念からインスピレーションを引き出す。 我々は,創造的画像生成のための視覚的概念分離手法であるOmniPrismを提案する。 提案手法は,自然言語で案内される不整合概念表現を学習し,これらの概念を組み込むために拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-12-16T18:59:52Z)
• Concept Replacer: Replacing Sensitive Concepts in Diffusion Models via Precision Localization [48.20360860166279]
  大規模な拡散モデルは高品質な画像を生成するが、しばしば性的に明示的なコンテンツや暴力的なコンテンツのような望ましくないコンテンツを生成する。 本研究では,非対象領域に影響を及ぼすことなく,特定の概念を除去することが可能な拡散モデルにおいて,対象概念を置き換えるための新しい手法を提案する。 本手法では,最小限のラベル付きデータを必要とする数発の学習で学習し,目標概念を正確に識別する専用概念ローカライザを提案する。 特定領域内では,DPCA(Dual Prompts Cross-Attention)モジュールが導入された。
  論文  参考訳（メタデータ） (2024-12-02T08:05:39Z)
• RealEra: Semantic-level Concept Erasure via Neighbor-Concept Mining [25.769144703607214]
  概念消去は、モデルが保護され不適切な概念に関する知識を取り除くために提案されている。 この「概念残余」問題に対処するためにRealEraを提案する。 また,RealEraは,有効性,特異性,汎用性において,従来の消去方法よりも優れていたことを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:55:30Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Unlearning Concepts in Diffusion Model via Concept Domain Correction and Concept Preserving Gradient [20.698305103879232]
  我々はtextbfDoCo (textbfDomaintextbfCorrection) という新しい概念領域補正フレームワークを提案する。 本手法は, 対象概念の包括的未学習を保証し, 先進的学習を通して, センシティブな概念とアンカーの概念の出力領域を整合させることにより, 対象概念の包括的未学習を確実にする。 また、矛盾する勾配成分を緩和し、特定の概念を学習しながらモデルの実用性を維持するための概念保存的勾配手術手法も導入する。
  論文  参考訳（メタデータ） (2024-05-24T07:47:36Z)
• Receler: Reliable Concept Erasing of Text-to-Image Diffusion Models via Lightweight Erasers [24.64639078273091]
  テキストから画像への拡散モデルにおける概念消去は、対象概念に関連する画像の生成から事前学習された拡散モデルを無効にすることを目的としている。 軽量エローザ(レセラー)による信頼性概念消去の提案
  論文  参考訳（メタデータ） (2023-11-29T15:19:49Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)
• Ablating Concepts in Text-to-Image Diffusion Models [57.9371041022838]
  大規模テキスト・画像拡散モデルでは、強力な構成能力を持つ高忠実度画像を生成することができる。 これらのモデルは典型的には膨大な量のインターネットデータに基づいて訓練されており、しばしば著作権のある資料、ライセンスされた画像、個人写真を含んでいる。 本稿では,事前訓練されたモデルにおいて,目標概念の生成を防止し,効率的に概念を宣言する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T17:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。