論文の概要: Fast-FedUL: A Training-Free Federated Unlearning with Provable Skew Resilience
- arxiv url: http://arxiv.org/abs/2405.18040v1
- Date: Tue, 28 May 2024 10:51:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 19:08:25.384783
- Title: Fast-FedUL: A Training-Free Federated Unlearning with Provable Skew Resilience
- Title（参考訳）: Fast-FedUL: 有望なスキューレジリエンスを備えたトレーニング不要のフェデレーション・アンラーニング
- Authors: Thanh Trung Huynh, Trong Bang Nguyen, Phi Le Nguyen, Thanh Tam Nguyen, Matthias Weidlich, Quoc Viet Hung Nguyen, Karl Aberer,
- Abstract要約: 我々は、Fast-FedULを紹介した。Fast-FedULは、フェデレートラーニング(FL)のための調整済みの未学習手法である。
訓練されたモデルからターゲットクライアントの影響を体系的に除去するアルゴリズムを開発した。
実験結果から、Fast-FedULはターゲットクライアントのほとんどすべてのトレースを効果的に削除し、未ターゲットクライアントの知識を維持していることがわかった。
- 参考スコア（独自算出の注目度）: 26.647028483763137
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated learning (FL) has recently emerged as a compelling machine learning paradigm, prioritizing the protection of privacy for training data. The increasing demand to address issues such as ``the right to be forgotten'' and combat data poisoning attacks highlights the importance of techniques, known as \textit{unlearning}, which facilitate the removal of specific training data from trained FL models. Despite numerous unlearning methods proposed for centralized learning, they often prove inapplicable to FL due to fundamental differences in the operation of the two learning paradigms. Consequently, unlearning in FL remains in its early stages, presenting several challenges. Many existing unlearning solutions in FL require a costly retraining process, which can be burdensome for clients. Moreover, these methods are primarily validated through experiments, lacking theoretical assurances. In this study, we introduce Fast-FedUL, a tailored unlearning method for FL, which eliminates the need for retraining entirely. Through meticulous analysis of the target client's influence on the global model in each round, we develop an algorithm to systematically remove the impact of the target client from the trained model. In addition to presenting empirical findings, we offer a theoretical analysis delineating the upper bound of our unlearned model and the exact retrained model (the one obtained through retraining using untargeted clients). Experimental results with backdoor attack scenarios indicate that Fast-FedUL effectively removes almost all traces of the target client, while retaining the knowledge of untargeted clients (obtaining a high accuracy of up to 98\% on the main task). Significantly, Fast-FedUL attains the lowest time complexity, providing a speed that is 1000 times faster than retraining. Our source code is publicly available at \url{https://github.com/thanhtrunghuynh93/fastFedUL}.
- Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は先頃、データトレーニングのためのプライバシ保護を優先する、魅力的な機械学習パラダイムとして登場した。
忘れられる権利」や戦闘データ中毒攻撃といった問題に対処する需要が高まっていることは、訓練されたFLモデルから特定のトレーニングデータを削除することを容易にする、‘textit{unlearning} として知られるテクニックの重要性を強調している。
集中学習のために多くの未学習手法が提案されているが、2つの学習パラダイムの操作に根本的な違いがあるため、FLには適用できないことがしばしばある。
その結果、FLでの未学習は初期段階に留まり、いくつかの課題が提示された。
FLの既存の未学習ソリューションの多くは、コストのかかる再トレーニングプロセスを必要としています。
さらに、これらの手法は主に実験を通じて検証され、理論的な保証が欠如している。
本研究ではFast-FedULについて紹介する。FLの未学習に適した手法で、再学習の必要性を完全に排除する。
各ラウンドにおけるターゲットクライアントのグローバルモデルへの影響を慎重に分析することにより、トレーニングされたモデルからターゲットクライアントの影響を体系的に除去するアルゴリズムを開発する。
実験結果の提示に加えて,未学習モデルと正確な再学習モデル(未学習クライアントを用いて再学習したモデル)の上限を記述した理論的解析を行った。
バックドア攻撃シナリオによる実験結果から、Fast-FedULはターゲットクライアントのほとんどすべてのトレースを効果的に除去し、未ターゲットクライアントの知識を保持しながら(メインタスクで最大98倍の精度を得る)、効果的に除去することを示している。
重要なことに、Fast-FedULは最小の時間複雑性を実現し、再トレーニングの1000倍の速度を提供する。
ソースコードは \url{https://github.com/thanhtrunghuynh93/fastFedUL} で公開されています。
関連論文リスト
- Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳（メタデータ） (2023-09-14T03:48:27Z) - Forgettable Federated Linear Learning with Certified Data Unlearning [34.532114070245576]
フェデレート・アンラーニング(FU)は、FLでのトレーニングを必要とせずに、"忘れられる権利"と、有毒なクライアントの影響を未学習にすることへの要求に対処するために登場した。
ほとんどのFUアルゴリズムは、保持またはターゲットクライアント(未学習のクライアント)、追加の通信オーバーヘッド、潜在的なセキュリティリスクの協力を必要とする。
我々は、クライアントとの通信や追加ストレージを必要とせず、サーバがターゲットクライアントを解放することを可能にする、認証され、効率的で、セキュアな未学習戦略であるFedRemovalを提案する。
論文 参考訳（メタデータ） (2023-06-03T23:53:57Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳（メタデータ） (2022-12-24T11:02:35Z) - On the Importance and Applicability of Pre-Training for Federated
Learning [28.238484580662785]
我々は,連合学習のための事前学習を体系的に研究する。
事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。
本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
論文 参考訳（メタデータ） (2022-06-23T06:02:33Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Federated Unlearning with Knowledge Distillation [9.666514931140707]
フェデレートラーニング(FL)は、トレーニングプロセス中に各クライアントのデータプライバシを保護するように設計されている。
忘れられる権利に関する最近の法律では、FLモデルが各クライアントから学んだことを忘れる能力を持つことが不可欠である。
モデルから蓄積した履歴更新を減じることで,クライアントの貢献を解消する,新たなフェデレーション付きアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2022-01-24T03:56:20Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳（メタデータ） (2021-07-07T15:42:49Z) - Federated Robustness Propagation: Sharing Adversarial Robustness in
Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。
敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。
既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。
本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文 参考訳（メタデータ） (2021-06-18T15:52:33Z) - On the Convergence Time of Federated Learning Over Wireless Networks
Under Imperfect CSI [28.782485580296374]
チャネル統計をバイアスとして,不完全なcsi下での収束時間を最小化するトレーニングプロセスを提案する。
また,学習過程に関わるクライアント数とモデル精度とのトレードオフを,異なる失明状態の関数として検討した。
論文 参考訳（メタデータ） (2021-04-01T08:30:45Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z) - Federated Unlearning [24.60965999954735]
Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。
忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。
FedEraser は、フェデレーション クライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
論文 参考訳（メタデータ） (2020-12-27T08:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。