論文の概要: Compensation-free Machine Unlearning in Text-to-Image Diffusion Models by Eliminating the Mutual Information
- arxiv url: http://arxiv.org/abs/2603.00992v1
- Date: Sun, 01 Mar 2026 08:41:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.453316
- Title: Compensation-free Machine Unlearning in Text-to-Image Diffusion Models by Eliminating the Mutual Information
- Title(参考訳): 相互情報の除去によるテキスト・画像拡散モデルにおける補償不要機械の学習
- Authors: Xinwen Cheng, Jingyuan Zhang, Zhehao Huang, Yingwen Wu, Xiaolin Huang,
- Abstract要約: モデルパラメータから特定の知識を取り除くために、マシン・アンラーニング(MU)が導入されている。
本稿では,計算効率向上のための微妙な設計で相互情報を最小化することで,概念を解き放つことを提案する。
提案手法は,他の概念の高品質な世代を維持するための効果的な概念除去を実現する。
- 参考スコア(独自算出の注目度): 38.37754131485605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The powerful generative capabilities of diffusion models have raised growing privacy and safety concerns regarding generating sensitive or undesired content. In response, machine unlearning (MU) -- commonly referred to as concept erasure (CE) in diffusion models -- has been introduced to remove specific knowledge from model parameters meanwhile preserving innocent knowledge. Despite recent advancements, existing unlearning methods often suffer from excessive and indiscriminate removal, which leads to substantial degradation in the quality of innocent generations. To preserve model utility, prior works rely on compensation, i.e., re-assimilating a subset of the remaining data or explicitly constraining the divergence from the pre-trained model on remaining concepts. However, we reveal that generations beyond the compensation scope still suffer, suggesting such post-remedial compensations are inherently insufficient for preserving the general utility of large-scale generative models. Therefore, in this paper, we advocate for developing compensation-free concept erasure operations, which precisely identify and eliminate the undesired knowledge such that the impact on other generations is minimal. In technique, we propose to MiM-MU, which is to unlearn a concept by minimizing the mutual information with a delicate design for computational effectiveness and for maintaining sampling distribution for other concepts. Extensive evaluations demonstrate that our proposed method achieves effective concept removal meanwhile maintaining high-quality generations for other concepts, and remarkably, without relying on any post-remedial compensation for the first time.
- Abstract(参考訳): 拡散モデルの強力な生成能力は、機密性や望ましくないコンテンツの生成に関するプライバシーと安全性の懸念を高めている。
これに対し、拡散モデルにおける概念消去(CE)と呼ばれる機械学習(MU)は、無実の知識を保持する一方でモデルパラメータから特定の知識を取り除くために導入された。
近年の進歩にもかかわらず、既存の未学習の手法はしばしば過度で差別的な除去に悩まされ、無実の世代の品質が著しく低下する。
モデルの実用性を維持するために、事前の作業は補償、すなわち残りのデータのサブセットを再同化すること、あるいは既存の概念に対する事前訓練されたモデルからの発散を明示的に制限することに依存する。
しかし, 補償範囲を超える世代は依然として苦しめられ, 大規模生成モデルの汎用性を維持するには, このような治療後の補償が本質的に不十分であることが示唆された。
そこで,本稿では,他の世代への影響が最小限に抑えられるような,望ましくない知識を正確に識別・排除する,補償不要な概念消去操作の開発を提唱する。
提案手法は,相互情報を微妙な設計で最小化し,計算効率を向上し,他の概念に対するサンプリング分布の維持を図り,概念を解き放つMiM-MUを提案する。
提案手法は,他の概念の高品質な世代を維持しつつも,効果的な概念除去を実現し,また,治療後補償に頼らずに,極めて顕著に実現可能であることを示す。
関連論文リスト
- Revoking Amnesia: RL-based Trajectory Optimization to Resurrect Erased Concepts in Diffusion Models [38.38751366738881]
概念消去技術は、安全と著作権の観点から不適切なコンテンツ生成を防止するため、T2I拡散モデルに広く展開されている。
確立された消去方法は 劣化した効果を示し 真のメカニズムに関する疑問を提起する
提案するトラジェクトリ最適化フレームワークである textbfRevAm は,デノナイジング過程を動的に操ることで,消去された概念を復活させる。
論文 参考訳(メタデータ) (2025-09-30T07:46:19Z) - CURE: Concept Unlearning via Orthogonal Representation Editing in Diffusion Models [7.68494752148263]
CUREは、事前訓練された拡散モデルの重み空間で直接動作する、トレーニング不要の概念未学習フレームワークである。
スペクトル消去器は、安全な属性を保持しながら、望ましくない概念に特有の特徴を特定し、分離する。
CUREは、対象とする芸術スタイル、オブジェクト、アイデンティティ、明示的なコンテンツに対して、より効率的で徹底的な除去を実現する。
論文 参考訳(メタデータ) (2025-05-19T03:53:06Z) - Continual Unlearning for Foundational Text-to-Image Models without Generalization Erosion [56.35484513848296]
本研究は,基本生成モデルから複数の特定の概念を対象とする除去を可能にする新しいパラダイムである連続的アンラーニングを導入する。
本稿では,望ましくない概念の生成を選択的に解き放つような一般化エロージョン(DUGE)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-03-17T23:17:16Z) - Efficient Fine-Tuning and Concept Suppression for Pruned Diffusion Models [93.76814568163353]
本稿では,2段階の拡散モデルに対する新しい最適化フレームワークを提案する。
このフレームワークは、微調整と未学習のプロセスを統一的なフェーズに統合する。
様々なプルーニングや概念未学習の手法と互換性がある。
論文 参考訳(メタデータ) (2024-12-19T19:13:18Z) - Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。
派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。
新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
論文 参考訳(メタデータ) (2024-07-17T08:04:28Z) - Unlearning Concepts in Diffusion Model via Concept Domain Correction and Concept Preserving Gradient [20.698305103879232]
我々はtextbfDoCo (textbfDomaintextbfCorrection) という新しい概念領域補正フレームワークを提案する。
本手法は, 対象概念の包括的未学習を保証し, 先進的学習を通して, センシティブな概念とアンカーの概念の出力領域を整合させることにより, 対象概念の包括的未学習を確実にする。
また、矛盾する勾配成分を緩和し、特定の概念を学習しながらモデルの実用性を維持するための概念保存的勾配手術手法も導入する。
論文 参考訳(メタデータ) (2024-05-24T07:47:36Z) - Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。
後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。
広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
論文 参考訳(メタデータ) (2024-02-03T11:10:57Z) - Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。
時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文 参考訳(メタデータ) (2023-05-11T17:55:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。