論文の概要: Unlearning through Knowledge Overwriting: Reversible Federated Unlearning via Selective Sparse Adapter

• arxiv url: http://arxiv.org/abs/2502.20709v1
• Date: Fri, 28 Feb 2025 04:35:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:41:18.755009
• Title: Unlearning through Knowledge Overwriting: Reversible Federated Unlearning via Selective Sparse Adapter
• Title（参考訳）: 知識オーバーライトによるアンラーニング:選択スパースアダプタによる可逆的フェデレーションアンラーニング
• Authors: Zhengyi Zhong, Weidong Bao, Ji Wang, Shuai Zhang, Jingxuan Zhou, Lingjuan Lyu, Wei Yang Bryan Lim,
• Abstract要約: フェデレーション学習は、プライバシ保護のためのコラボレーティブモデルトレーニングにおいて有望なパラダイムである。 本稿では,各レイヤの知識に対する感受性を分析することによって,まず重要なレイヤを識別するFUSEDを提案する。 アダプタは元のパラメータを変更することなくトレーニングされ、未学習の知識を残りの知識で上書きする。
• 参考スコア（独自算出の注目度）: 35.65566527544619
• License:
• Abstract: Federated Learning is a promising paradigm for privacy-preserving collaborative model training. In practice, it is essential not only to continuously train the model to acquire new knowledge but also to guarantee old knowledge the right to be forgotten (i.e., federated unlearning), especially for privacy-sensitive information or harmful knowledge. However, current federated unlearning methods face several challenges, including indiscriminate unlearning of cross-client knowledge, irreversibility of unlearning, and significant unlearning costs. To this end, we propose a method named FUSED, which first identifies critical layers by analyzing each layer's sensitivity to knowledge and constructs sparse unlearning adapters for sensitive ones. Then, the adapters are trained without altering the original parameters, overwriting the unlearning knowledge with the remaining knowledge. This knowledge overwriting process enables FUSED to mitigate the effects of indiscriminate unlearning. Moreover, the introduction of independent adapters makes unlearning reversible and significantly reduces the unlearning costs. Finally, extensive experiments on three datasets across various unlearning scenarios demonstrate that FUSED's effectiveness is comparable to Retraining, surpassing all other baselines while greatly reducing unlearning costs.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、プライバシ保護のためのコラボレーティブモデルトレーニングのための、有望なパラダイムである。 実際には、新しい知識を取得するためにモデルを継続的に訓練するだけでなく、特にプライバシーに敏感な情報や有害な知識のために、古い知識を忘れられる権利(すなわち、未学習連合)を保証することが不可欠である。 しかしながら、現在のフェデレートされた未学習手法は、クロスクライアントな知識の無差別な未学習、未学習の不可逆性、重要な未学習コストなど、いくつかの課題に直面している。 そこで本研究では,まず,各レイヤの知識に対する感受性を解析し,重要層を識別するFUSEDという手法を提案する。 そして、アダプタは元のパラメータを変更することなく訓練され、未学習の知識を残りの知識で上書きする。 この知識上書きプロセスにより、FUSEDは無差別な未学習の影響を軽減することができる。 さらに、独立したアダプタの導入により、学習が不可能になり、学習コストが大幅に削減される。 最後に、さまざまな未学習シナリオにわたる3つのデータセットに関する広範な実験は、FUSEDの有効性がリトレーニングに匹敵し、他のすべてのベースラインを超え、未学習コストを大幅に削減することを示した。

関連論文リスト

• Siamese Machine Unlearning with Knowledge Vaporization and Concentration [23.796344455232227]
  本研究では,特定のデータポイントから学習知識を選択的に消去する知識蒸散と集中の概念を提案する。 提案手法では,メモリオーバヘッドの追加や,残りのデータセットへのフルアクセスは不要である。
  論文  参考訳（メタデータ） (2024-12-02T07:19:49Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models [39.39428450239399]
  大規模な言語モデル(LLM)は、個人プライバシー情報や著作権資料などの機密データを必然的に保持する。 知識未学習の最近の進歩は、特定の知識を消去するためにLLMパラメータを更新する。 未学習プロセスが必然的に本質的な知識を消去するかどうかを評価するために KnowUnDo を導入する。
  論文  参考訳（メタデータ） (2024-07-02T03:34:16Z)
• UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI [50.61495097098296]
  大規模言語モデル(LLM)におけるアンラーニングのパラダイムを再考する。 未学習の概念を導入し、未学習の知識を文脈内で再導入する。 我々は、不寛容な知識に対するコンテンツフィルタリングが不可欠であり、正確な未学習スキームでさえ、効果的なコンテンツ規制には不十分であると主張している。
  論文  参考訳（メタデータ） (2024-06-27T10:24:35Z)
• Auto-selected Knowledge Adapters for Lifelong Person Re-identification [54.42307214981537]
  Lifelong Person Re-Identificationは、異なる時間と場所にわたる重複しないデータセットから継続的に学習するシステムを必要とする。 リハーサルのない、あるいはリハーサルベースの既存のアプローチは、依然として破滅的な忘れ込みの問題に悩まされている。 本稿では,知識アダプタを採用した新しいフレームワークであるAdalReIDと,生涯学習のためのパラメータフリー自動選択機構を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:42:02Z)
• Federated Unlearning via Active Forgetting [24.060724751342047]
  インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。 我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
  論文  参考訳（メタデータ） (2023-07-07T03:07:26Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Learning with Recoverable Forgetting [77.56338597012927]
  学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。 具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。 いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-17T16:42:31Z)
• Transferability in Deep Learning: A Survey [80.67296873915176]
  知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。 本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。 我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-15T15:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。