Unlearning in Diffusion Models: A Unified Framework with KL Divergence and Likelihood Constraints
Abstractの概要
本論文は、拡散モデルのアンラーニングを、事前学習済みモデルの保持と、忘却すべきデータや概念からの分離とを明示的に両立させる制約付き最適化問題として定式化しています。概念削除のための逆KL制約アンラーニング、データ削除のための順KL制約アンラーニング、そしてアンラーニング分布の尤度を直接制限する尤度制約型定式化の3つを研究しています。著者らは、非凸のKL制約ケースを含むこれら3つの問題すべてにおいて強双対性を示し、明示的な最適ターゲット分布と、拡散モデルのための主双対アルゴリズムを導出しています。混合ガウス分布、Stable Diffusionの概念アンラーニング、およびDDPMベースのデータアンラーニングに関する実験を通じて、得られた保持とアンラーニング間のトレードオフを評価しています。
新規性
主な新規性は、逆KL、順KL、および尤度制約を通じて、概念とデータの両方のアンラーニングをカバーする、拡散モデルのアンラーニングのための統一された制約付き最適化フレームワークを提案した点にあります。また、新規の尤度ベースの定式化を提示し、これらのアンラーニング問題に対する強双対性を証明することで、明示的なターゲットの特性評価と原則に基づいた主双対最適化を可能にしています。
成果
概念およびデータのアンラーニング実験全体において、制約付き手法は、制約なしまたは等量重み付けのベースラインよりも優れた保持とアンラーニングのトレードオフを達成しました。特に、KL制約手法は事前学習済みモデルからの逸脱をより少なく抑えつつ同等のアンラーニング結果を得ており、尤度制約手法はアンラーニングの有効性を維持しつつも、保持すべき概念をより良く保存しています。
論文の注目点
- 本フレームワークは、不要な概念やデータ分布からの明示的な分離制約を条件として、事前学習済み拡散モデルからの逸脱を最小化することをアンラーニングと定義している。
- 本論文は、逆KL、順KL、および尤度制約の目的関数に対する閉形式のターゲット分布を導出し、強双対性を利用して主双対学習アルゴリズムの正当性を証明している。
- 混合ガウス分布、Stable Diffusionの概念アンラーニング、およびCelebA-HQのサンプル削除に関する実証研究において、同等のアンラーニング度合いにおいてベースラインよりもモデル保持性能が向上することが示された。