論文の概要: Continual Unlearning for Foundational Text-to-Image Models without Generalization Erosion

• arxiv url: http://arxiv.org/abs/2503.13769v2
• Date: Fri, 21 Mar 2025 21:36:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:29:32.791085
• Title: Continual Unlearning for Foundational Text-to-Image Models without Generalization Erosion
• Title（参考訳）: 一般化エロージョンを伴わない基礎的テキスト・画像モデルの連続的アンラーニング
• Authors: Kartik Thakral, Tamar Glaser, Tal Hassner, Mayank Vatsa, Richa Singh,
• Abstract要約: 本研究は,基本生成モデルから複数の特定の概念を対象とする除去を可能にする新しいパラダイムである連続的アンラーニングを導入する。 本稿では,望ましくない概念の生成を選択的に解き放つような一般化エロージョン(DUGE)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 56.35484513848296
• License:
• Abstract: How can we effectively unlearn selected concepts from pre-trained generative foundation models without resorting to extensive retraining? This research introduces `continual unlearning', a novel paradigm that enables the targeted removal of multiple specific concepts from foundational generative models, incrementally. We propose Decremental Unlearning without Generalization Erosion (DUGE) algorithm which selectively unlearns the generation of undesired concepts while preserving the generation of related, non-targeted concepts and alleviating generalization erosion. For this, DUGE targets three losses: a cross-attention loss that steers the focus towards images devoid of the target concept; a prior-preservation loss that safeguards knowledge related to non-target concepts; and a regularization loss that prevents the model from suffering from generalization erosion. Experimental results demonstrate the ability of the proposed approach to exclude certain concepts without compromising the overall integrity and performance of the model. This offers a pragmatic solution for refining generative models, adeptly handling the intricacies of model training and concept management lowering the risks of copyright infringement, personal or licensed material misuse, and replication of distinctive artistic styles. Importantly, it maintains the non-targeted concepts, thereby safeguarding the model's core capabilities and effectiveness.
• Abstract（参考訳）: 広範囲な再学習に頼らずに、事前学習した生成基盤モデルから選択された概念を効果的に解き放つことができるか。 本研究は,基本生成モデルから複数の特定の概念を段階的に除去する,新たなパラダイムである"continual unlearning"を紹介する。 一般化エロージョン(DUGE)アルゴリズムは,非対象概念の生成と一般化エロージョンの緩和を両立させつつ,望ましくない概念の生成を選択的に解き放つ。 このためにDUGEは、3つの損失を目標とする: 対象概念を欠いたイメージに焦点をあてるクロスアテンション損失、非ターゲット概念に関する知識を保護する事前保存損失、モデルが一般化侵食に苦しむのを防ぐ正規化損失。 実験により,モデル全体の完全性や性能を損なうことなく,特定の概念を排除できる手法が示された。 これは、生成モデルを精細化するための実用的な解決策を提供し、モデルトレーニングと概念管理の複雑さを巧みに扱い、著作権侵害のリスクを低くし、個人的またはライセンスされた資料の誤用を減らし、独特な芸術スタイルの複製を提供する。 重要なのは、非ターゲットの概念を維持し、それによってモデルのコア機能と有効性を保護することだ。

関連論文リスト

• Concept Replacer: Replacing Sensitive Concepts in Diffusion Models via Precision Localization [48.20360860166279]
  大規模な拡散モデルは高品質な画像を生成するが、しばしば性的に明示的なコンテンツや暴力的なコンテンツのような望ましくないコンテンツを生成する。 本研究では,非対象領域に影響を及ぼすことなく,特定の概念を除去することが可能な拡散モデルにおいて,対象概念を置き換えるための新しい手法を提案する。 本手法では,最小限のラベル付きデータを必要とする数発の学習で学習し,目標概念を正確に識別する専用概念ローカライザを提案する。 特定領域内では,DPCA(Dual Prompts Cross-Attention)モジュールが導入された。
  論文  参考訳（メタデータ） (2024-12-02T08:05:39Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
  大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。 後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。 広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-03T11:10:57Z)
• Receler: Reliable Concept Erasing of Text-to-Image Diffusion Models via Lightweight Erasers [24.64639078273091]
  テキストから画像への拡散モデルにおける概念消去は、対象概念に関連する画像の生成から事前学習された拡散モデルを無効にすることを目的としている。 軽量エローザ(レセラー)による信頼性概念消去の提案
  論文  参考訳（メタデータ） (2023-11-29T15:19:49Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• Ablating Concepts in Text-to-Image Diffusion Models [57.9371041022838]
  大規模テキスト・画像拡散モデルでは、強力な構成能力を持つ高忠実度画像を生成することができる。 これらのモデルは典型的には膨大な量のインターネットデータに基づいて訓練されており、しばしば著作権のある資料、ライセンスされた画像、個人写真を含んでいる。 本稿では,事前訓練されたモデルにおいて,目標概念の生成を防止し,効率的に概念を宣言する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T17:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。