論文の概要: Unlearning in Diffusion Models: A Unified Framework with KL Divergence and Likelihood Constraints

• arxiv url: http://arxiv.org/abs/2605.30825v1
• Date: Fri, 29 May 2026 04:25:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.383982
• Title: Unlearning in Diffusion Models: A Unified Framework with KL Divergence and Likelihood Constraints
• Title（参考訳）: 拡散モデルにおける未学習:KLの多様性と類似制約を備えた統一フレームワーク
• Abstract要約: 本稿では,事前学習モデルからの偏差を最小限に抑えるために,非学習を定式化する制約付き最適化フレームワークを提案する。 我々のKL制約アプローチは、概念とデータアンラーニングにおいて、保持ベースラインが優れていること、そして、可能性ベースアプローチが未学習の有効性と一致していることを示します。
• 参考スコア（独自算出の注目度）: 80.85967228615388
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Unlearning in diffusion models aims to remove undesirable data or concepts while preserving the utility of pretrained models -- two fundamentally conflicting objectives. We propose a principled constrained optimization framework that formulates unlearning as minimizing the deviation from a pretrained model, subject to explicit separation constraints from the unlearning distributions. Specifically, we formulate three constrained optimization problems based on reverse and forward KL divergences, and likelihood constraints. The first two generalize existing approaches for concept and data unlearning, while the third offers a novel and natural formulation for unlearning. Despite the nonconvexity of the KL constraints, we establish strong duality for all three problems, enabling us to explicitly characterize their optimal solutions as unlearning targets and develop primal-dual algorithms for each formulation. Experimental results demonstrate that our KL-constrained approach achieves superior retention-unlearning tradeoffs compared to weight-based baselines for concept and data unlearning, and that our likelihood-based approach matches unlearning effectiveness while better preserving retained concepts compared to baselines.
• Abstract（参考訳）: 拡散モデルの未学習は、事前訓練されたモデルの実用性を保ちながら、望ましくないデータや概念を取り除くことを目的としています。 本研究では,学習前モデルからの偏差を最小限に抑えるために,学習未学習を規定する制約付き最適化フレームワークを提案する。 具体的には、3つの制約付き最適化問題を逆KLの発散と確率制約に基づいて定式化する。 最初の2つは、概念とデータアンラーニングのための既存のアプローチを一般化し、3番目は、アンラーニングのための新しく自然な定式化を提供する。 KL制約の非凸性にもかかわらず、3つの問題に対して強い双対性を確立し、最適解を学習対象として明示的に特徴付け、各定式化のための原始双対アルゴリズムを開発することができる。 実験結果から,我々のKL制約アプローチは,概念とデータアンラーニングの重量ベースラインと比較して,保持非ラーニングのトレードオフが優れていることが示され,確率ベースアプローチは学習効率と一致し,基本ラインよりも保持概念の保存性がよいことが示された。

関連論文リスト

• INSPIRE: An Internalize-Then-Improve Approach for Example-Driven Mathematical Reasoning [61.60016491769943]
  人間の数学教育において、定理境界をテストするために反例を構築するような例に基づく推論は、深い概念的理解を反映している。 本稿では,RGSI(Reference-Guided Students Internalization)と段階的選好学習戦略を組み合わせた内在化・内在化アプローチであるINSPIREを提案する。 複数のモデルスケールとファミリーにわたる実験は、大規模なオープンソースモデルを超えながら、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-08-27T03:24:03Z)
• Rethinking Concept Bottleneck Models: From Pitfalls to Solutions [53.84388497227224]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念の基底予測である。 CBM-Suiteはこれらの課題に対処するための方法論的なフレームワークである。
  論文  参考訳（メタデータ） (2026-03-05T19:37:49Z)
• Alignment as Distribution Learning: Your Preference Model is Explicitly a Language Model [12.063078727764045]
  人間のフィードバックからの強化学習によるアライメントは理論的正当性に欠け、決定論的解のインセンティブを与える。 本稿では, 優先最大推定, 優先蒸留, 逆KL最小化の3つの基本学習目標を提案する。 我々は、我々の分布学習フレームワーク、特に嗜好蒸留が、RLHFとDPOのパフォーマンスを一貫して上回るか、あるいは一致しているかを実証的に示す。
  論文  参考訳（メタデータ） (2025-06-02T10:36:31Z)
• Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
  機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。 本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。 これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T04:43:22Z)
• MAST: Model-Agnostic Sparsified Training [4.962431253126472]
  我々は、ブラックボックス関数として機械学習モデル損失を最小限に抑える従来の方法から外れた、新しい最適化問題の定式化を導入する。 従来の定式化とは異なり、提案手法は、初期訓練されたモデルとランダムスケッチ演算子を明示的に組み込む。 本稿では,新しい問題定式化に適応したグラディエント・ディキセント法(SGD)のいくつかの変種について述べる。
  論文  参考訳（メタデータ） (2023-11-27T18:56:03Z)
• Class-Incremental Mixture of Gaussians for Deep Continual Learning [15.49323098362628]
  本稿では,ガウスモデルの混合を連続学習フレームワークに組み込むことを提案する。 固定抽出器を用いたメモリフリーシナリオにおいて,本モデルが効果的に学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-09T04:33:19Z)
• Stochastic Methods for AUC Optimization subject to AUC-based Fairness Constraints [51.12047280149546]
  公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。 フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。 フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-23T22:29:08Z)
• Self-Supervised Primal-Dual Learning for Constrained Optimization [19.965556179096385]
  本稿では,制約付き最適化問題の最適解を直接近似する機械学習モデルの訓練方法を検討する。 プリマル・デュアル・ラーニング(PDL, Primal-Dual Learning)は,事前解決した一連のインスタンスや,学習と推論のための最適化解法を必要としない自己指導型トレーニング手法である。
  論文  参考訳（メタデータ） (2022-08-18T20:07:10Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。