論文の概要: LEGATO: Good Identity Unlearning Is Continuous
- arxiv url: http://arxiv.org/abs/2601.04282v1
- Date: Wed, 07 Jan 2026 13:15:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 17:01:52.860082
- Title: LEGATO: Good Identity Unlearning Is Continuous
- Title(参考訳): LEGATO: 優れたアイデンティティの学習は継続的
- Authors: Qiang Chen, Chun-Wun Cheng, Xiu Su, Hongyan Xu, Xi Lin, Shan You, Angelica I. Aviles-Rivero, Yi Chen,
- Abstract要約: LEGATOは、生成モデルのアイデンティティを忘れることを学ぶための機械学習手法である。
最先端の忘れパフォーマンスを実現し、破滅的な崩壊を回避し、微調整されたパラメータを減らす。
実験の結果,LEGATOは最先端の忘れ物性能を実現し,破滅的な崩壊を回避し,微調整パラメータを低減できることがわかった。
- 参考スコア(独自算出の注目度): 30.78585550012454
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning has become a crucial role in enabling generative models trained on large datasets to remove sensitive, private, or copyright-protected data. However, existing machine unlearning methods face three challenges in learning to forget identity of generative models: 1) inefficient, where identity erasure requires fine-tuning all the model's parameters; 2) limited controllability, where forgetting intensity cannot be controlled and explainability is lacking; 3) catastrophic collapse, where the model's retention capability undergoes drastic degradation as forgetting progresses. Forgetting has typically been handled through discrete and unstable updates, often requiring full-model fine-tuning and leading to catastrophic collapse. In this work, we argue that identity forgetting should be modeled as a continuous trajectory, and introduce LEGATO - Learn to ForgEt Identity in GenerAtive Models via Trajectory-consistent Neural Ordinary Differential Equations. LEGATO augments pre-trained generators with fine-tunable lightweight Neural ODE adapters, enabling smooth, controllable forgetting while keeping the original model weights frozen. This formulation allows forgetting intensity to be precisely modulated via ODE step size, offering interpretability and robustness. To further ensure stability, we introduce trajectory consistency constraints that explicitly prevent catastrophic collapse during unlearning. Extensive experiments across in-domain and out-of-domain identity unlearning benchmarks show that LEGATO achieves state-of-the-art forgetting performance, avoids catastrophic collapse and reduces fine-tuned parameters.
- Abstract(参考訳): 機械学習は、大規模なデータセットでトレーニングされた生成モデルが機密性、プライベート、著作権保護されたデータを削除できるようにする上で重要な役割を担っている。
しかし、既存の機械学習手法は、生成モデルのアイデンティティを忘れることを学ぶ上で3つの課題に直面している。
1) 同一性消去がすべてのモデルのパラメータを微調整する必要がある場合、非効率である。
2 制限された制御性であって、忘れる強度を抑えることができず、説明責任が欠如しているもの
3) モデル保持能力は, 忘れることの進行とともに劇的に低下し, 破滅的崩壊を招いた。
フォーミングは通常、離散的で不安定な更新によって処理され、しばしばフルモデルの微調整を必要とし、破滅的な崩壊を引き起こす。
本研究では,自己同一性は連続的な軌跡としてモデル化されるべきであると論じ,軌道に一貫性のあるニューラル正規微分方程式を用いて,ジェネレーティブモデルにおける擬似アイデンティティを学習するLEGATOを導入する。
LEGATOは、微調整可能な軽量なNeural ODEアダプタで事前訓練されたジェネレータを強化し、オリジナルのモデルの重量を凍結させながら滑らかで制御可能な忘れ物を可能にする。
この定式化により、忘れる強度をODEのステップサイズで正確に変調することができ、解釈可能性と堅牢性を提供する。
さらに安定性を確保するため、未学習時の破滅的崩壊を明示的に防止する軌道整合性制約を導入する。
ドメイン内およびドメイン外IDアンラーニングベンチマークの広範な実験は、LEGATOが最先端の忘れパフォーマンスを実現し、破滅的な崩壊を回避し、微調整されたパラメータを減らすことを示している。
関連論文リスト
- ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
ResADは正規化された残留軌道モデリングフレームワークである。
学習タスクを再編成し、慣性参照からの残留偏差を予測する。
NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
論文 参考訳(メタデータ) (2025-10-09T17:59:36Z) - Variational Diffusion Unlearning: A Variational Inference Framework for Unlearning in Diffusion Models under Data Constraints [9.885531514020437]
本研究では,事前学習した拡散モデルから望ましくない特徴を含む出力の発生を防止できる機械学習手法を提案する。
本手法は, 可塑性インデューサと安定正則化器の2項からなる損失関数の最小化を目的とした, 変分推論フレームワークに着想を得たものである。
本手法の有効性は,授業未学習と特徴未学習の両方に対する総合的な実験を通じて検証する。
論文 参考訳(メタデータ) (2025-10-05T06:39:30Z) - Deep Generative Continual Learning using Functional LoRA: FunLoRA [12.547444644243543]
共通の戦略は、忘れを和らげるために、生成モデルを自身の合成データで再訓練することである。
低階適応(LoRA)に基づく生成モデルのための新しい、より表現力のある条件付け機構を提案する。
提案手法は,拡散モデルに基づく先行技術結果を上回るパラメータ効率細調整(PEFT)手法である。
論文 参考訳(メタデータ) (2025-10-03T00:18:05Z) - Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。
SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
論文 参考訳(メタデータ) (2025-09-20T17:09:14Z) - History-Aware Neural Operator: Robust Data-Driven Constitutive Modeling of Path-Dependent Materials [8.579506050944875]
本研究では、ニューラルネットワークを用いた非弾性材料のデータ駆動モデリングのためのエンドツーエンド学習フレームワークを提案する。
近年のストレス・ストレス・ヒストリーの短い部分から経路依存的な物質応答を予測する自己回帰モデルであるヒストリー・アウェア・ニューラル・オペレータ(HANO)を開発した。
我々は, 脆性固体の弾塑性と進行異方性損傷の2つのベンチマーク問題に対してHANOを評価した。
論文 参考訳(メタデータ) (2025-06-12T05:19:17Z) - UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。
UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
論文 参考訳(メタデータ) (2025-05-21T15:53:28Z) - Large Continual Instruction Assistant [59.585544987096974]
CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。
既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。
本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-08T11:24:59Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳(メタデータ) (2022-06-26T10:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。