論文の概要: Robust Continual Unlearning against Knowledge Erosion and Forgetting Reversal
- arxiv url: http://arxiv.org/abs/2604.19108v1
- Date: Tue, 21 Apr 2026 05:35:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.639266
- Title: Robust Continual Unlearning against Knowledge Erosion and Forgetting Reversal
- Title（参考訳）: 知識侵食に対するロバストな継続学習と逆転の予測
- Authors: Eun-Ju Park, Youjin Shin, Simon S. Woo,
- Abstract要約: 機械学習は、人工知能において「忘れられる権利」を実現する上で重要な役割を果たす。
我々は、未学習を繰り返し実施するより現実的なシナリオにおいて、既存の未学習アルゴリズムを評価する。
我々は,データ保持のための表現安定性を維持しつつ,データ忘れのための負のロジットマージンを強制する,連続的アンラーニングフレームワークSAFERを提案する。
- 参考スコア（独自算出の注目度）: 31.09301411794716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a means to balance the growth of the AI industry with the need for privacy protection, machine unlearning plays a crucial role in realizing the ``right to be forgotten'' in artificial intelligence. This technique enables AI systems to remove the influence of specific data while preserving the rest of the learned knowledge. Although it has been actively studied, most existing unlearning methods assume that unlearning is performed only once. In this work, we evaluate existing unlearning algorithms in a more realistic scenario where unlearning is conducted repeatedly, and in this setting, we identify two critical phenomena: (1) Knowledge Erosion, where the accuracy on retain data progressively degrades over unlearning phases, and (2) Forgetting Reversal, where previously forgotten samples become recognizable again in later phases. To address these challenges, we propose SAFER (StAbility-preserving Forgetting with Effective Regularization), a continual unlearning framework that maintains representation stability for retain data while enforcing negative logit margins for forget data. Extensive experiments show that SAFER mitigates not only knowledge erosion but also forgetting reversal, achieving stable performance across multiple unlearning phases.
- Abstract（参考訳）: AI産業の成長とプライバシ保護の必要性のバランスをとる手段として、機械学習は人工知能の‘忘れられる権利’を実現する上で重要な役割を果たす。
この技術により、AIシステムは学習した知識の残りの部分を保存しながら、特定のデータの影響を取り除くことができる。
活発に研究されているが、既存の未学習手法の多くは、未学習は一度だけ行われると仮定している。
本研究では,未学習を繰り返すより現実的なシナリオにおいて,既存の未学習アルゴリズムを評価した結果,(1) 学習段階においてデータの保持精度が徐々に低下する知識エロージョン,(2) それまで忘れられていたサンプルが後続の段階で再認識されるという2つの重要な現象が明らかになった。
これらの課題に対処するため、我々はSAFER(StAbility-Preserving Forgetting with Effective Regularization)を提案する。これは、データ保持のための表現安定性を維持しつつ、データ忘れのための負のロジットマージンを強制する連続的なアンラーニングフレームワークである。
大規模な実験では、SAFERは知識の侵食だけでなく、逆転を忘れ、複数の未学習フェーズで安定したパフォーマンスを達成することを示唆している。
関連論文リスト
- Lethe:Adapter-Augmented Dual-Stream Update for Persistent Knowledge Erasure in Federated Unlearning [6.171968410497911]
Federated Unlearning (FU)は、グローバルモデルから指定されたクライアントレベル、クラスレベル、またはサンプルレベルの知識を削除することを目的としている。
私たちは、継続的なトレーニングが未学習の知識を再活性化できることを明らかにすることで、知識の再認識と呼ばれる重要な障害モードを特定します。
本稿では,知識の保持から学ばない新しい非学習手法Letheを提案する。
論文 参考訳（メタデータ） (2026-01-30T05:50:35Z) - DUET: Distilled LLM Unlearning from an Efficiently Contextualized Teacher [5.406594712642111]
デュエット(DUET)は,蒸留法に基づく新規な未学習法である。
忘れることとユーティリティ保存の両方において高いパフォーマンスを実現し、最先端の未学習手法よりも桁違いにデータ効率が高い。
論文 参考訳（メタデータ） (2026-01-29T05:32:35Z) - Understanding the Dilemma of Unlearning for Large Language Models [50.54260066313032]
Unlearningは、大きな言語モデル(LLM)から特定の知識を取り除こうとしている。
提案するunPactは,帰納的帰属とコントリビューショントラッキングによるアンラーニングのための解釈可能なフレームワークである。
論文 参考訳（メタデータ） (2025-09-29T12:15:19Z) - Erase or Hide? Suppressing Spurious Unlearning Neurons for Robust Unlearning [31.829376135133554]
Webスケールのデータに基づいてトレーニングされた大規模な言語モデルは、プライベートまたはセンシティブな知識を記憶し、重大なプライバシーリスクを生じさせる。
いくつかの未学習の手法は、その後の訓練中に「再学習」に弱いままであり、忘れられた知識のかなりの部分が再浮上する。
Ssiuuは、帰属指導による正規化を取り入れた新しい学習方法であり、刺激的なネガティブな影響を防ぎ、ターゲット知識を忠実に除去する。
論文 参考訳（メタデータ） (2025-09-26T12:27:23Z) - Step-by-Step Reasoning Attack: Revealing 'Erased' Knowledge in Large Language Models [9.719371187651591]
未学習のテクニックは、その知識を表面下で抑制し、残すことで、正しいプロンプトで取り出すことができる。
我々は、段階的に推論に基づくブラックボックス攻撃であるSleekを導入し、非学習障害を体系的に暴露する。
生成した敵のプロンプトのうち62.5%がWHPの未発表のラマから忘れられたハリー・ポッターの事実を回収し、50%は不当な知識の抑制を暴露した。
論文 参考訳（メタデータ） (2025-06-14T04:22:17Z) - UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。
UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
論文 参考訳（メタデータ） (2025-05-21T15:53:28Z) - Unlearning through Knowledge Overwriting: Reversible Federated Unlearning via Selective Sparse Adapter [35.65566527544619]
フェデレーション学習は、プライバシ保護のためのコラボレーティブモデルトレーニングにおいて有望なパラダイムである。
本稿では,各レイヤの知識に対する感受性を分析することによって,まず重要なレイヤを識別するFUSEDを提案する。
アダプタは元のパラメータを変更することなくトレーニングされ、未学習の知識を残りの知識で上書きする。
論文 参考訳（メタデータ） (2025-02-28T04:35:26Z) - UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI [50.61495097098296]
大規模言語モデル(LLM)におけるアンラーニングのパラダイムを再考する。
未学習の概念を導入し、未学習の知識を文脈内で再導入する。
我々は、不寛容な知識に対するコンテンツフィルタリングが不可欠であり、正確な未学習スキームでさえ、効果的なコンテンツ規制には不十分であると主張している。
論文 参考訳（メタデータ） (2024-06-27T10:24:35Z) - Adaptively Integrated Knowledge Distillation and Prediction Uncertainty
for Continual Learning [71.43841235954453]
現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。
この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
論文 参考訳（メタデータ） (2023-01-18T05:36:06Z) - Learning with Recoverable Forgetting [77.56338597012927]
学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。
具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。
いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-07-17T16:42:31Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳（メタデータ） (2020-07-30T16:00:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。