論文の概要: Federated Unlearning with Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2201.09441v1
• Date: Mon, 24 Jan 2022 03:56:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 04:23:31.012007
• Title: Federated Unlearning with Knowledge Distillation
• Title（参考訳）: 知識蒸留による連関型未学習
• Authors: Chen Wu and Sencun Zhu and Prasenjit Mitra
• Abstract要約: フェデレートラーニング(FL)は、トレーニングプロセス中に各クライアントのデータプライバシを保護するように設計されている。 忘れられる権利に関する最近の法律では、FLモデルが各クライアントから学んだことを忘れる能力を持つことが不可欠である。 モデルから蓄積した履歴更新を減じることで,クライアントの貢献を解消する,新たなフェデレーション付きアンラーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 9.666514931140707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is designed to protect the data privacy of each client during the training process by transmitting only models instead of the original data. However, the trained model may memorize certain information about the training data. With the recent legislation on right to be forgotten, it is crucially essential for the FL model to possess the ability to forget what it has learned from each client. We propose a novel federated unlearning method to eliminate a client's contribution by subtracting the accumulated historical updates from the model and leveraging the knowledge distillation method to restore the model's performance without using any data from the clients. This method does not have any restrictions on the type of neural networks and does not rely on clients' participation, so it is practical and efficient in the FL system. We further introduce backdoor attacks in the training process to help evaluate the unlearning effect. Experiments on three canonical datasets demonstrate the effectiveness and efficiency of our method.
• Abstract（参考訳）: federated learning(fl)は、トレーニングプロセス中の各クライアントのデータプライバシを、元のデータではなくモデルのみを送信することによって保護するように設計されている。 しかし、トレーニングされたモデルはトレーニングデータに関する特定の情報を記憶することができる。 忘れられる権利に関する最近の法律では、FLモデルが各クライアントから学んだことを忘れる能力を持つことが不可欠である。 本稿では,モデルから蓄積した履歴更新を減算し,クライアントからのデータを使わずにモデルの性能を回復するための知識蒸留法を活用し,クライアントの貢献を解消する新しい連関型未学習手法を提案する。 この方法はニューラルネットワークの種類に制限がなく、クライアントの参加にも依存しないため、flシステムでは実用的かつ効率的である。 さらに,学習過程にバックドア攻撃を導入し,学習効果の評価を支援する。 3つの標準データセットの実験により,本手法の有効性と有効性を示した。

関連論文リスト

• ConDa: Fast Federated Unlearning with Contribution Dampening [46.074452659791575]
  ConDaは、各クライアントのグローバルモデルに影響を与えるパラメータを追跡することによって、効率的なアンラーニングを実行するフレームワークである。 複数のデータセットで実験を行い、ConDaがクライアントのデータを忘れるのが効果的であることを実証する。
  論文  参考訳（メタデータ） (2024-10-05T12:45:35Z)
• Fast-FedUL: A Training-Free Federated Unlearning with Provable Skew Resilience [26.647028483763137]
  我々は、Fast-FedULを紹介した。Fast-FedULは、フェデレートラーニング(FL)のための調整済みの未学習手法である。 訓練されたモデルからターゲットクライアントの影響を体系的に除去するアルゴリズムを開発した。 実験結果から、Fast-FedULはターゲットクライアントのほとんどすべてのトレースを効果的に削除し、未ターゲットクライアントの知識を維持していることがわかった。
  論文  参考訳（メタデータ） (2024-05-28T10:51:38Z)
• Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
  フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。 既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。 本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T07:04:48Z)
• Federated Unlearning for Human Activity Recognition [11.287645073129108]
  本稿では,クライアントのトレーニングデータの一部を選択的に除去することで,FL HARモデルを洗練するための軽量マシンアンラーニング手法を提案する。 本手法は,テキストリトレーニング手法に匹敵する非学習精度を実現し,数十～数千の高速化を実現する。
  論文  参考訳（メタデータ） (2024-01-17T15:51:36Z)
• TOFU: A Task of Fictitious Unlearning for LLMs [99.92305790945507]
  Webからの大量のコーパスに基づいてトレーニングされた大規模な言語モデルは、法的および倫理的懸念を提起する機密データやプライベートデータを再現することができる。 トレーニングデータに存在する情報を忘れるためにモデルをチューニングするアンラーニングは、トレーニング後のプライベートデータを保護する手段を提供する。 未学習の理解を深めるためのベンチマークであるTOFUを紹介する。
  論文  参考訳（メタデータ） (2024-01-11T18:57:12Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Forgettable Federated Linear Learning with Certified Data Unlearning [34.532114070245576]
  フェデレート・アンラーニング(FU)は、FLでのトレーニングを必要とせずに、"忘れられる権利"と、有毒なクライアントの影響を未学習にすることへの要求に対処するために登場した。 ほとんどのFUアルゴリズムは、保持またはターゲットクライアント(未学習のクライアント)、追加の通信オーバーヘッド、潜在的なセキュリティリスクの協力を必要とする。 我々は、クライアントとの通信や追加ストレージを必要とせず、サーバがターゲットクライアントを解放することを可能にする、認証され、効率的で、セキュアな未学習戦略であるFedRemovalを提案する。
  論文  参考訳（メタデータ） (2023-06-03T23:53:57Z)
• Federated Unlearning: How to Efficiently Erase a Client in FL? [9.346673106489742]
  訓練されたグローバルモデルからローカルデータ全体の影響を除去し,クライアントを消去する手法を提案する。 当社のアンラーニング手法は,スクラッチからフェデレート・リトレーニングを行うためのゴールド・スタンダード・アンラーニング手法と同等の性能を達成している。 以前の作業とは異なり、我々のアンラーニングメソッドは、トレーニングに使用されるデータへのグローバルアクセスも、サーバまたはクライアントによって格納されるパラメータ更新履歴も必要としません。
  論文  参考訳（メタデータ） (2022-07-12T13:24:23Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。