論文の概要: Federated Unlearning with Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2201.09441v1
- Date: Mon, 24 Jan 2022 03:56:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-26 04:23:31.012007
- Title: Federated Unlearning with Knowledge Distillation
- Title(参考訳): 知識蒸留による連関型未学習
- Authors: Chen Wu and Sencun Zhu and Prasenjit Mitra
- Abstract要約: フェデレートラーニング(FL)は、トレーニングプロセス中に各クライアントのデータプライバシを保護するように設計されている。
忘れられる権利に関する最近の法律では、FLモデルが各クライアントから学んだことを忘れる能力を持つことが不可欠である。
モデルから蓄積した履歴更新を減じることで,クライアントの貢献を解消する,新たなフェデレーション付きアンラーニング手法を提案する。
- 参考スコア(独自算出の注目度): 9.666514931140707
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is designed to protect the data privacy of each
client during the training process by transmitting only models instead of the
original data. However, the trained model may memorize certain information
about the training data. With the recent legislation on right to be forgotten,
it is crucially essential for the FL model to possess the ability to forget
what it has learned from each client. We propose a novel federated unlearning
method to eliminate a client's contribution by subtracting the accumulated
historical updates from the model and leveraging the knowledge distillation
method to restore the model's performance without using any data from the
clients. This method does not have any restrictions on the type of neural
networks and does not rely on clients' participation, so it is practical and
efficient in the FL system. We further introduce backdoor attacks in the
training process to help evaluate the unlearning effect. Experiments on three
canonical datasets demonstrate the effectiveness and efficiency of our method.
- Abstract(参考訳): federated learning(fl)は、トレーニングプロセス中の各クライアントのデータプライバシを、元のデータではなくモデルのみを送信することによって保護するように設計されている。
しかし、トレーニングされたモデルはトレーニングデータに関する特定の情報を記憶することができる。
忘れられる権利に関する最近の法律では、FLモデルが各クライアントから学んだことを忘れる能力を持つことが不可欠である。
本稿では,モデルから蓄積した履歴更新を減算し,クライアントからのデータを使わずにモデルの性能を回復するための知識蒸留法を活用し,クライアントの貢献を解消する新しい連関型未学習手法を提案する。
この方法はニューラルネットワークの種類に制限がなく、クライアントの参加にも依存しないため、flシステムでは実用的かつ効率的である。
さらに,学習過程にバックドア攻撃を導入し,学習効果の評価を支援する。
3つの標準データセットの実験により,本手法の有効性と有効性を示した。
関連論文リスト
- Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-29T07:04:48Z) - TOFU: A Task of Fictitious Unlearning for LLMs [99.92305790945507]
Webからの大量のコーパスに基づいてトレーニングされた大規模な言語モデルは、法的および倫理的懸念を提起する機密データやプライベートデータを再現することができる。
トレーニングデータに存在する情報を忘れるためにモデルをチューニングするアンラーニングは、トレーニング後のプライベートデータを保護する手段を提供する。
未学習の理解を深めるためのベンチマークであるTOFUを紹介する。
論文 参考訳(メタデータ) (2024-01-11T18:57:12Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Federated Unlearning via Active Forgetting [24.060724751342047]
インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
論文 参考訳(メタデータ) (2023-07-07T03:07:26Z) - Forgettable Federated Linear Learning with Certified Data Removal [31.9726861621826]
Federated Learning(FL)は、データ共有なしで協調的なモデルトレーニングを可能にする、トレンドの分散学習フレームワークである。
本研究では,クライアントに忘れられる権利を与えるFLパラダイムに焦点をあてる。」
論文 参考訳(メタデータ) (2023-06-03T23:53:57Z) - Federated Unlearning: How to Efficiently Erase a Client in FL? [9.346673106489742]
訓練されたグローバルモデルからローカルデータ全体の影響を除去し,クライアントを消去する手法を提案する。
当社のアンラーニング手法は,スクラッチからフェデレート・リトレーニングを行うためのゴールド・スタンダード・アンラーニング手法と同等の性能を達成している。
以前の作業とは異なり、我々のアンラーニングメソッドは、トレーニングに使用されるデータへのグローバルアクセスも、サーバまたはクライアントによって格納されるパラメータ更新履歴も必要としません。
論文 参考訳(メタデータ) (2022-07-12T13:24:23Z) - The Right to be Forgotten in Federated Learning: An Efficient
Realization with Rapid Retraining [22.16510303054159]
訓練されたFLモデルからデータサンプルを完全に消去する高速再学習手法を提案する。
我々の形式的収束と複雑性解析は、我々の設計がモデルユーティリティを高い効率で維持できることを示した。
論文 参考訳(メタデータ) (2022-03-14T17:22:40Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Federated Unlearning [24.60965999954735]
Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。
忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。
FedEraser は、フェデレーション クライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
論文 参考訳(メタデータ) (2020-12-27T08:54:37Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。