論文の概要: Adaptive-lambda Subtracted Importance Sampled Scores in Machine Unlearning for DDPMs and VAEs

• arxiv url: http://arxiv.org/abs/2512.01054v1
• Date: Sun, 30 Nov 2025 19:57:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.562209
• Title: Adaptive-lambda Subtracted Importance Sampled Scores in Machine Unlearning for DDPMs and VAEs
• Title（参考訳）: DDPMとVAEのための機械学習におけるアダプティブラムダ減算重要度スコア
• Abstract要約: マシン・アンラーニングは、大きな生成モデルが忘れられる権利に従うために不可欠である。 本稿では、各トレーニングステップで動的に推論される潜在変数に変換する、原則付き拡張であるAdaptive-lambda SISSを提案する。 拡張MNISTベンチマークの実験では、Adaptive-lambda SISSが元の静的ラムダSISSを大幅に上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 3.383208046995159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Unlearning is essential for large generative models (VAEs, DDPMs) to comply with the right to be forgotten and prevent undesired content generation without costly retraining. Existing approaches, such as Static-lambda SISS for diffusion models, rely on a fixed mixing weight lambda, which is suboptimal because the required unlearning strength varies across samples and training stages. We propose Adaptive-lambda SISS, a principled extension that turns lambda into a latent variable dynamically inferred at each training step. A lightweight inference network parameterizes an adaptive posterior over lambda, conditioned on contextual features derived from the instantaneous SISS loss terms (retain/forget losses and their gradients). This enables joint optimization of the diffusion model and the lambda-inference mechanism via a variational objective, yielding significantly better trade-offs. We further extend the adaptive-lambda principle to score-based unlearning and introduce a multi-class variant of Score Forgetting Distillation. In addition, we present two new directions: (i) a hybrid objective combining the data-free efficiency of Score Forgetting Distillation with the direct gradient control of SISS, and (ii) a Reinforcement Learning formulation that treats unlearning as a sequential decision process, learning an optimal policy over a state space defined by the model's current memory of the forget set. Experiments on an augmented MNIST benchmark show that Adaptive-lambda SISS substantially outperforms the original static-lambda SISS, achieving stronger removal of forgotten classes while better preserving generation quality on the retain set.
• Abstract（参考訳）: マシン・アンラーニングは、大規模な生成モデル(VAE、DDPM)にとって、忘れられる権利を遵守し、コストのかかる再トレーニングなしに望ましくないコンテンツ生成を防止するために不可欠である。 拡散モデルのための静的ラムダSISSのような既存のアプローチは固定混合重みラムダに依存している。 ラムダをトレーニングステップ毎に動的に推論する潜在変数に変換する,原則付き拡張であるAdaptive-lambda SISSを提案する。 軽量な推論ネットワークは、短時間のSISS損失項(保持/保持損失とその勾配)から導かれる文脈的特徴に基づいて、ラムダ上の適応的後部をパラメータ化する。 これにより、拡散モデルとラムダ推論機構の変動目標による共同最適化が可能となり、トレードオフが大幅に向上する。 さらに、適応ラムダの原理をスコアベースのアンラーニングに拡張し、Score Forgetting Distillationのマルチクラス版を導入する。 さらに2つの新しい方向を示す。 i)SISSの直接勾配制御とScore Forgetting Distillationのデータフリー効率を組み合わせたハイブリッド目標 二 無学習を逐次決定過程として扱う強化学習の定式化であって、モデルの現在の記憶によって定義された状態空間上で最適な政策を学ぶこと。 拡張MNISTベンチマークの実験では、Adaptive-lambda SISSが元の静的ラムダSISSを大幅に上回っており、リザーブセットの生成品質を向上しつつ、忘れられたクラスのより強力な削除を実現している。

関連論文リスト

• Curvature-Adaptive Consistency Flow Matching: Autonomous Trajectory Optimization via Reinforcement Learning [8.422673935994451]
  連続蒸留は拡散モデルの推論を 著しく加速させました 本稿では,静的サンプリングの限界に対処するため,曲率適応整合フローマッチングを提案する。 提案手法は,FLUXやSDXLといった大規模モデルに対して,最新の結果を実現する。
  論文  参考訳（メタデータ） (2026-06-21T08:49:50Z)
• Decoupled Latent Optimization of Diffusion Models for Full Waveform Inversion [4.293965179144764]
  フルウェーブフォーム・インバージョン(FWI)は、高度に不規則な2次PDE速度最適化を解くことで、記録から地下の速度を回復する。 最近の拡散優先法は、標準定式化と事前整合性の間の脆弱なトレードオフを犠牲にして現実性を改善する。 そこで本稿では,潜時費用目標を補助的物理変数と潜時変数に対する潜時費用目標に緩和するDe Latent Optimization (DLO)を提案する。 OpenFWIベンチマークでは、DLOは古典的正規化器や既存の拡散ベースのメソッドよりもクリーンでノイズがあり、トラスが不足している。
  論文  参考訳（メタデータ） (2026-06-12T05:55:10Z)
• XAI-SOH-FL: Enhancing SOH-FL with Adaptive Aggregation and Explainable AI for Intrusion Detection in Heterogeneous IoT [0.0]
  XAI-SOH-FLは適応アグリゲーションと説明可能な人工知能をSOH-FLパラダイムに統合する拡張フレームワークである。 XAI-SOH-FLの精度は94.12%、F1スコアは0.92であり、ベースラインのSOH-FLモデルより優れている。
  論文  参考訳（メタデータ） (2026-05-28T21:23:53Z)
• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• Instance-Adaptive Parametrization for Amortized Variational Inference [3.219880761967806]
  インスタンス適応型変分オートエンコーダ(IA-VAE)を提案する。 IA-VAE(IA-VAE)は、ハイパーネットワークが共有エンコーダの入力依存変調を生成するアモータイズされた変分推論フレームワークである。 真の後部が知られている合成データの実験では、IA-VAEはより正確な後部近似をもたらし、償却ギャップを減少させる。
  論文  参考訳（メタデータ） (2026-04-08T08:11:38Z)
• Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation [69.7036779439312]
  ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。 ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。 我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
  論文  参考訳（メタデータ） (2026-03-24T07:54:19Z)
• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• Adaptive Linear Path Model-Based Diffusion [52.84663832658799]
  リニアパスモデルベース拡散(LP-MBD)を導入し、分散保存スケジュールをフローマッチング線形確率パスに置き換える。 また,適応型LP-MBD(ALP-MBD)を提案し,タスクの複雑さや環境条件に応じて拡散ステップやノイズレベルを調整する。
  論文  参考訳（メタデータ） (2026-02-02T21:33:03Z)
• ATLAS : Adaptive Self-Evolutionary Research Agent with Task-Distributed Multi-LLM Supporters [6.13905106667213]
  ATLASは、軽量な研究エージェントを反復的に開発するタスク分散フレームワークである。 我々のコアアルゴリズムであるEvolving Direct Preference Optimization (EvoDPO)は、位相インデックス付き参照ポリシーを適応的に更新する。 その結果,ATLASは静的単一エージェントベースラインの安定性と性能を向上させることがわかった。
  論文  参考訳（メタデータ） (2026-02-02T19:23:33Z)
• Entropy-Based Dimension-Free Convergence and Loss-Adaptive Schedules for Diffusion Models [3.2091923314854416]
  学習スコア(またはデノイザー)によって駆動される逆時間ダイナミクスを離散化することで拡散生成モデルがサンプルを合成する 我々は、幾何学的仮定を避けるために、次元自由収束に対する情報理論的アプローチを開発する。 また、逆SDEの効率的な離散化のための損失適応スケジュール(LAS)を提案し、これは軽量であり、訓練損失のみに依存している。
  論文  参考訳（メタデータ） (2026-01-29T16:28:21Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Training-Free Stein Diffusion Guidance: Posterior Correction for Sampling Beyond High-Density Regions [46.59494117137471]
  自由拡散誘導の訓練は、追加の訓練なしに既成の分類器を活用する柔軟な方法を提供する。 本稿では,SOC を対象とする新たなトレーニングフリーフレームワークである Stein Diffusion Guidance (SDG) を紹介する。 分子低密度サンプリングタスクの実験は、SDGが標準のトレーニングフリーガイダンス手法を一貫して上回っていることを示唆している。
  論文  参考訳（メタデータ） (2025-07-07T21:14:27Z)
• Multi-Preference Lambda-weighted Listwise DPO for Small-Scale Model Alignment [5.276657230880984]
  大規模言語モデル(LLM)は、幅広い言語タスクに対して強力な一般化を示すが、しばしば人間の好みに反する出力を生成する。 直接最適化選好(DPO)は、二項選好対に対する分類タスクとしてアライメントを扱い、プロセスを単純化する。 我々は、より詳細な人間のフィードバックからモデルを学習できるマルチパラメータLambda-weighted Listwise DPOを提案する。 本手法は, 実世界の展開に適した効率, 制御可能, きめ細かな適応を実現しつつ, 標準DPOのアライメント性能を常に向上させる。
  論文  参考訳（メタデータ） (2025-06-24T16:47:17Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Beyond Freezing: Sparse Tuning Enhances Plasticity in Continual Learning with Pre-Trained Models [10.904981532789824]
  事前訓練されたモデルによる継続的な学習は、シーケンシャルなタスクにまたがる効率的な適応を大いに約束する。 既存のアプローチはPTMを凍結し、プロンプトやアダプタのような補助モジュールに依存している。 MIST(Mutual Information-Guided Sparse Tuning)は,PTMパラメータのサブセットを選択的に更新するプラグイン・アンド・プレイ方式である。
  論文  参考訳（メタデータ） (2025-05-26T13:09:25Z)
• BO-SA-PINNs: Self-adaptive physics-informed neural networks based on Bayesian optimization for automatically designing PDE solvers [13.048817629665649]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として一般的な方法である PINNは、ネットワークのハイパーパラメータ、サンプリング方法、異なるPDEに対する損失関数重み付けを専用の手動で修正する必要がある。 この問題を軽減するため,BO-SA-PINNと呼ばれる汎用多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-14T02:07:45Z)
• AYLA: Amplifying Gradient Sensitivity via Loss Transformation in Non-Convex Optimization [0.0]
  Gradient Descent (SGD)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。 本稿では、動的トレーニングを強化する新しいフレームワークであるAYLAを紹介する。
  論文  参考訳（メタデータ） (2025-04-02T16:31:39Z)
• Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization [72.81319836138347]
  オンライン連続学習(OCL)は、以前に学習したタスクの知識を保持しながら、一度だけ現れるデータストリームから新しいタスクを学習することを目指している。 既存の方法の多くはリプレイに依存しており、正規化や蒸留によるメモリ保持の強化に重点を置いている。 既存のほとんどのメソッドに組み込むことができ、適応性を直接改善できるプラグイン・アンド・プレイモジュールであるS6MODを導入する。
  論文  参考訳（メタデータ） (2024-12-24T05:25:21Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。