論文の概要: FIT: Defying Catastrophic Forgetting in Continual LLM Unlearning

• arxiv url: http://arxiv.org/abs/2601.21682v1
• Date: Thu, 29 Jan 2026 13:15:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.839413
• Title: FIT: Defying Catastrophic Forgetting in Continual LLM Unlearning
• Title（参考訳）: FIT: 継続的なLLMアンラーニングにおける破滅的な予測
• Authors: Xiaoyu Xu, Minxin Du, Kun Fang, Zi Liang, Yaxin Xiao, Zhicong Huang, Cheng Hong, Qingqing Ye, Haibo Hu,
• Abstract要約: fitは、多数の削除要求を処理する継続的アンラーニングのためのフレームワークである。 fitは厳格なデータアンダーライン、アンダーラインImportance-awareアップデート、アンダーラインTargetedレイヤ属性による劣化を緩和する。 FitはMMLU、CommonsenseQA、GSM8Kの既存のメソッドを超えており、再学習と量子化の回復攻撃に耐性がある。
• 参考スコア（独自算出の注目度）: 23.471857001200465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) demonstrate impressive capabilities across diverse tasks but raise concerns about privacy, copyright, and harmful materials. Existing LLM unlearning methods rarely consider the continual and high-volume nature of real-world deletion requests, which can cause utility degradation and catastrophic forgetting as requests accumulate. To address this challenge, we introduce \fit, a framework for continual unlearning that handles large numbers of deletion requests while maintaining robustness against both catastrophic forgetting and post-unlearning recovery. \fit mitigates degradation through rigorous data \underline{F}iltering, \underline{I}mportance-aware updates, and \underline{T}argeted layer attribution, enabling stable performance across long sequences of unlearning operations and achieving a favorable balance between forgetting effectiveness and utility retention. To support realistic evaluation, we present \textbf{PCH}, a benchmark covering \textbf{P}ersonal information, \textbf{C}opyright, and \textbf{H}armful content in sequential deletion scenarios, along with two symmetric metrics, Forget Degree (F.D.) and Retain Utility (R.U.), which jointly assess forgetting quality and utility preservation. Extensive experiments on four open-source LLMs with hundreds of deletion requests show that \fit achieves the strongest trade-off between F.D. and R.U., surpasses existing methods on MMLU, CommonsenseQA, and GSM8K, and remains resistant against both relearning and quantization recovery attacks.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な能力を示すが、プライバシ、著作権、有害物質に対する懸念を提起する。 既存のLLMアンラーニング手法は、実世界の削除要求の連続的かつ高ボリュームな性質をほとんど考慮しておらず、要求が蓄積されるにつれて、実用上の劣化と破滅的な忘れを生じさせる可能性がある。 この課題に対処するため,我々は,大規模な削除要求を処理する継続的未学習のためのフレームワークである \fit を導入し,破滅的な忘れと再学習後の回復の両面に対して堅牢性を維持した。 厳密なデータ \underline{F}iltering, \underline{I}mportance-aware update, \underline{T}argeted Layer Attribution による劣化の軽減。 現実的な評価を支援するために, 逐次削除シナリオにおける \textbf{P}ersonal information, \textbf{C}opyright および \textbf{H}armful Content をカバーするベンチマークである \textbf{PCH} と Forget Degree (F.D.) と Retain Utility (R.U.) の2つの対称指標を共同で評価した。 F.D.とR.U.の最大のトレードオフを達成し、MMLU、CommonsenseQA、GSM8Kの既存の手法を超越し、再学習と量子化の回復攻撃にも耐えうる。

関連論文リスト

• Distill, Forget, Repeat: A Framework for Continual Unlearning in Text-to-Image Diffusion Models [42.10036183563499]
  本稿では, 減量要求の順序の下で, 目標と安定性を確保できる新しい生成蒸留に基づく連続的アンラーニングフレームワークを提案する。 10段階の逐次ベンチマーク実験により,提案手法はより忠実な概念を忘れることが実証された。 このフレームワークは、大規模生成モデルのデプロイとメンテナンスの責任を負うための実行可能な経路を提供する。
  論文  参考訳（メタデータ） (2025-12-02T11:22:32Z)
• MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
  大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。 textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。 実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
  論文  参考訳（メタデータ） (2025-10-10T11:40:27Z)
• OFMU: Optimization-Driven Framework for Machine Unlearning [5.100622189286672]
  大規模言語モデルは、ユーザ要求、著作権のある資料、時代遅れの情報など、特定の知識を解放する能力を必要としている。 我々は,保留期間を保ちながら忘れを明示的に優先順位付けするペナルティベースの二段階最適化フレームワークOFMUを提案する。 OFMUは既存のアンラーニング手法を有効性と有効性の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-09-26T15:31:32Z)
• Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Aware Unlearning with Proxy Constraint [28.25159814956888]
  大規模言語モデル(LLM)は、プライベートまたは著作権のあるコンテンツを含む可能性のある巨大なデータセットに基づいて訓練される。 プライバシとオーナシップの懸念が高まっているため、データ所有者は、トレーニングされたモデルからデータを削除することを要求できる。 既存のほとんどの方法には音を忘れる境界がないため、一部のサンプルは忘れられてしまう。
  論文  参考訳（メタデータ） (2025-08-28T05:45:40Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。