論文の概要: Lethe:Adapter-Augmented Dual-Stream Update for Persistent Knowledge Erasure in Federated Unlearning
- arxiv url: http://arxiv.org/abs/2601.22601v1
- Date: Fri, 30 Jan 2026 05:50:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 18:28:15.259476
- Title: Lethe:Adapter-Augmented Dual-Stream Update for Persistent Knowledge Erasure in Federated Unlearning
- Title(参考訳): Lethe:Adapter-Augmented Dual-Stream Update for Persistent Knowledge Erasure in Federated Unlearning
- Authors: Hanwei Tan, Wentai Hu, Ligang He, Yijun Quan,
- Abstract要約: Federated Unlearning (FU)は、グローバルモデルから指定されたクライアントレベル、クラスレベル、またはサンプルレベルの知識を削除することを目的としている。
私たちは、継続的なトレーニングが未学習の知識を再活性化できることを明らかにすることで、知識の再認識と呼ばれる重要な障害モードを特定します。
本稿では,知識の保持から学ばない新しい非学習手法Letheを提案する。
- 参考スコア(独自算出の注目度): 6.171968410497911
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated unlearning (FU) aims to erase designated client-level, class-level, or sample-level knowledge from a global model. Existing studies commonly assume that the collaboration ends up with the unlearning operation, overlooking the follow-up situation where the federated training continues over the remaining data.We identify a critical failure mode, termed Knowledge resurfacing, by revealing that continued training can re-activate unlearned knowledge and cause the removed influence to resurface in the global model. To address this, we propose Lethe, a novel federated unlearning method that de-correlates knowledge to be unlearned from knowledge to be retained, ensuring persistent erasure during continued training.Lethe follows a Reshape--Rectify--Restore pipeline: a temporary adapter is first trained with gradient ascent on the unlearning data to obtain magnified updates, which is then used as corrective signals to diverge layer-wise rectification on the remaining updates in two streams. Finally, the adapter is removed and a short recovery stage is performed on the retained data. Our experiments show that Lethe supports unlearning in the federated system at all levels in a unified manner and maintains superior persistence (Resurfacing Rate <1% in most cases) even after numerous rounds of follow-up training.
- Abstract(参考訳): Federated Unlearning (FU)は、グローバルモデルから指定されたクライアントレベル、クラスレベル、またはサンプルレベルの知識を削除することを目的としている。
既存の研究は、協調作業が未学習の作業に終止符を打つのが普通であり、残りのデータ上でフェデレーショントレーニングが継続するフォローアップ状況を見越して、継続トレーニングが未学習の知識を再活性化し、世界モデルにおいて除去された影響が再浮上することを明らかにすることによって、重要な障害モードである知識の再浮上を識別する。
これを解決するために,知識を学習対象から切り離すための新しい非学習手法であるLetheを提案する。この手法は,学習継続中の持続的消去を確実にする。LetheはReshape-Rectify-Restoreパイプラインに従う。
最後に、アダプタを除去し、保持データ上で短い回復段階を行う。
実験の結果,Lethe はすべてのレベルにおいて,統一された方法でアンラーニングをサポートし,多数のフォローアップトレーニングを行った後でも,優れた持続性(ほとんどの場合では<1%)を維持していることがわかった。
関連論文リスト
- Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。
本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。
我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
論文 参考訳(メタデータ) (2025-12-01T15:56:00Z) - Retrofit: Continual Learning with Bounded Forgetting for Security Applications [25.185616916987158]
本稿では,データ振り返りのない連続学習手法であるRETROFITを提案する。
干渉を軽減するために、独立部分空間にパラメータ変化を限定する低ランクかつスパースな更新を適用する。
時間的ドリフト下でのマルウェア検出では、CLベースラインよりも20.2%から38.6%の保持スコアが大幅に向上し、新しいデータに対するオラクルの上限を超える。
論文 参考訳(メタデータ) (2025-11-14T16:07:03Z) - Weight Factorization and Centralization for Continual Learning in Speech Recognition [55.63455095283984]
リハーサルのない多言語、言語に依存しない状態でモデルを継続的に訓練することは、破滅的な忘れを招きかねない。
人間の脳が覚醒サイクルを通じて知識を学習・統合する能力に着想を得て,継続的な学習手法を提案する。
論文 参考訳(メタデータ) (2025-06-19T19:59:24Z) - Unlearning through Knowledge Overwriting: Reversible Federated Unlearning via Selective Sparse Adapter [35.65566527544619]
フェデレーション学習は、プライバシ保護のためのコラボレーティブモデルトレーニングにおいて有望なパラダイムである。
本稿では,各レイヤの知識に対する感受性を分析することによって,まず重要なレイヤを識別するFUSEDを提案する。
アダプタは元のパラメータを変更することなくトレーニングされ、未学習の知識を残りの知識で上書きする。
論文 参考訳(メタデータ) (2025-02-28T04:35:26Z) - AdaER: An Adaptive Experience Replay Approach for Continual Lifelong
Learning [16.457330925212606]
持続的生涯学習の課題に対処するために,適応的経験リプレイ(AdaER)を提案する。
AdaERはメモリリプレイとメモリ更新という2つのステージで構成されている。
結果: AdaERは、既存の持続的生涯学習ベースラインを上回っている。
論文 参考訳(メタデータ) (2023-08-07T01:25:45Z) - Adaptively Integrated Knowledge Distillation and Prediction Uncertainty
for Continual Learning [71.43841235954453]
現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。
この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
論文 参考訳(メタデータ) (2023-01-18T05:36:06Z) - Learning with Recoverable Forgetting [77.56338597012927]
学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。
具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。
いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-07-17T16:42:31Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳(メタデータ) (2021-12-31T12:05:22Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳(メタデータ) (2020-07-30T16:00:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。