論文の概要: Adaptive-lambda Subtracted Importance Sampled Scores in Machine Unlearning for DDPMs and VAEs

• arxiv url: http://arxiv.org/abs/2512.01054v1
• Date: Sun, 30 Nov 2025 19:57:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.562209
• Title: Adaptive-lambda Subtracted Importance Sampled Scores in Machine Unlearning for DDPMs and VAEs
• Title（参考訳）: DDPMとVAEのための機械学習におけるアダプティブラムダ減算重要度スコア
• Authors: MohammadParsa Dini, Human Jafari, Sajjad Amini, MohammadMahdi Mojahedian,
• Abstract要約: マシン・アンラーニングは、大きな生成モデルが忘れられる権利に従うために不可欠である。 本稿では、各トレーニングステップで動的に推論される潜在変数に変換する、原則付き拡張であるAdaptive-lambda SISSを提案する。 拡張MNISTベンチマークの実験では、Adaptive-lambda SISSが元の静的ラムダSISSを大幅に上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 3.383208046995159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Unlearning is essential for large generative models (VAEs, DDPMs) to comply with the right to be forgotten and prevent undesired content generation without costly retraining. Existing approaches, such as Static-lambda SISS for diffusion models, rely on a fixed mixing weight lambda, which is suboptimal because the required unlearning strength varies across samples and training stages. We propose Adaptive-lambda SISS, a principled extension that turns lambda into a latent variable dynamically inferred at each training step. A lightweight inference network parameterizes an adaptive posterior over lambda, conditioned on contextual features derived from the instantaneous SISS loss terms (retain/forget losses and their gradients). This enables joint optimization of the diffusion model and the lambda-inference mechanism via a variational objective, yielding significantly better trade-offs. We further extend the adaptive-lambda principle to score-based unlearning and introduce a multi-class variant of Score Forgetting Distillation. In addition, we present two new directions: (i) a hybrid objective combining the data-free efficiency of Score Forgetting Distillation with the direct gradient control of SISS, and (ii) a Reinforcement Learning formulation that treats unlearning as a sequential decision process, learning an optimal policy over a state space defined by the model's current memory of the forget set. Experiments on an augmented MNIST benchmark show that Adaptive-lambda SISS substantially outperforms the original static-lambda SISS, achieving stronger removal of forgotten classes while better preserving generation quality on the retain set.
• Abstract（参考訳）: マシン・アンラーニングは、大規模な生成モデル(VAE、DDPM)にとって、忘れられる権利を遵守し、コストのかかる再トレーニングなしに望ましくないコンテンツ生成を防止するために不可欠である。 拡散モデルのための静的ラムダSISSのような既存のアプローチは固定混合重みラムダに依存している。 ラムダをトレーニングステップ毎に動的に推論する潜在変数に変換する,原則付き拡張であるAdaptive-lambda SISSを提案する。 軽量な推論ネットワークは、短時間のSISS損失項(保持/保持損失とその勾配)から導かれる文脈的特徴に基づいて、ラムダ上の適応的後部をパラメータ化する。 これにより、拡散モデルとラムダ推論機構の変動目標による共同最適化が可能となり、トレードオフが大幅に向上する。 さらに、適応ラムダの原理をスコアベースのアンラーニングに拡張し、Score Forgetting Distillationのマルチクラス版を導入する。 さらに2つの新しい方向を示す。 i)SISSの直接勾配制御とScore Forgetting Distillationのデータフリー効率を組み合わせたハイブリッド目標 二 無学習を逐次決定過程として扱う強化学習の定式化であって、モデルの現在の記憶によって定義された状態空間上で最適な政策を学ぶこと。 拡張MNISTベンチマークの実験では、Adaptive-lambda SISSが元の静的ラムダSISSを大幅に上回っており、リザーブセットの生成品質を向上しつつ、忘れられたクラスのより強力な削除を実現している。

関連論文リスト

• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Training-Free Stein Diffusion Guidance: Posterior Correction for Sampling Beyond High-Density Regions [46.59494117137471]
  自由拡散誘導の訓練は、追加の訓練なしに既成の分類器を活用する柔軟な方法を提供する。 本稿では,SOC を対象とする新たなトレーニングフリーフレームワークである Stein Diffusion Guidance (SDG) を紹介する。 分子低密度サンプリングタスクの実験は、SDGが標準のトレーニングフリーガイダンス手法を一貫して上回っていることを示唆している。
  論文  参考訳（メタデータ） (2025-07-07T21:14:27Z)
• Multi-Preference Lambda-weighted Listwise DPO for Small-Scale Model Alignment [5.276657230880984]
  大規模言語モデル(LLM)は、幅広い言語タスクに対して強力な一般化を示すが、しばしば人間の好みに反する出力を生成する。 直接最適化選好(DPO)は、二項選好対に対する分類タスクとしてアライメントを扱い、プロセスを単純化する。 我々は、より詳細な人間のフィードバックからモデルを学習できるマルチパラメータLambda-weighted Listwise DPOを提案する。 本手法は, 実世界の展開に適した効率, 制御可能, きめ細かな適応を実現しつつ, 標準DPOのアライメント性能を常に向上させる。
  論文  参考訳（メタデータ） (2025-06-24T16:47:17Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Beyond Freezing: Sparse Tuning Enhances Plasticity in Continual Learning with Pre-Trained Models [10.904981532789824]
  事前訓練されたモデルによる継続的な学習は、シーケンシャルなタスクにまたがる効率的な適応を大いに約束する。 既存のアプローチはPTMを凍結し、プロンプトやアダプタのような補助モジュールに依存している。 MIST(Mutual Information-Guided Sparse Tuning)は,PTMパラメータのサブセットを選択的に更新するプラグイン・アンド・プレイ方式である。
  論文  参考訳（メタデータ） (2025-05-26T13:09:25Z)
• BO-SA-PINNs: Self-adaptive physics-informed neural networks based on Bayesian optimization for automatically designing PDE solvers [13.048817629665649]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として一般的な方法である PINNは、ネットワークのハイパーパラメータ、サンプリング方法、異なるPDEに対する損失関数重み付けを専用の手動で修正する必要がある。 この問題を軽減するため,BO-SA-PINNと呼ばれる汎用多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-14T02:07:45Z)
• AYLA: Amplifying Gradient Sensitivity via Loss Transformation in Non-Convex Optimization [0.0]
  Gradient Descent (SGD)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。 本稿では、動的トレーニングを強化する新しいフレームワークであるAYLAを紹介する。
  論文  参考訳（メタデータ） (2025-04-02T16:31:39Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。