論文の概要: Forgettable Federated Linear Learning with Certified Data Unlearning
- arxiv url: http://arxiv.org/abs/2306.02216v2
- Date: Tue, 22 Oct 2024 02:33:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-23 14:25:58.999509
- Title: Forgettable Federated Linear Learning with Certified Data Unlearning
- Title（参考訳）: 認証データアンラーニングによる予測可能なフェデレーション線形学習
- Authors: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li,
- Abstract要約: フェデレート・アンラーニング(FU)は、FLでのトレーニングを必要とせずに、"忘れられる権利"と、有毒なクライアントの影響を未学習にすることへの要求に対処するために登場した。
ほとんどのFUアルゴリズムは、保持またはターゲットクライアント(未学習のクライアント)、追加の通信オーバーヘッド、潜在的なセキュリティリスクの協力を必要とする。
我々は、クライアントとの通信や追加ストレージを必要とせず、サーバがターゲットクライアントを解放することを可能にする、認証され、効率的で、セキュアな未学習戦略であるFedRemovalを提案する。
- 参考スコア（独自算出の注目度）: 34.532114070245576
- License:
- Abstract: The advent of Federated Learning (FL) has revolutionized the way distributed systems handle collaborative model training while preserving user privacy. Recently, Federated Unlearning (FU) has emerged to address demands for the "right to be forgotten"" and unlearning of the impact of poisoned clients without requiring retraining in FL. Most FU algorithms require the cooperation of retained or target clients (clients to be unlearned), introducing additional communication overhead and potential security risks. In addition, some FU methods need to store historical models to execute the unlearning process. These challenges hinder the efficiency and memory constraints of the current FU methods. Moreover, due to the complexity of nonlinear models and their training strategies, most existing FU methods for deep neural networks (DNN) lack theoretical certification. In this work, we introduce a novel FL training and unlearning strategy in DNN, termed Forgettable Federated Linear Learning (F^2L^2). F^2L^2 considers a common practice of using pre-trained models to approximate DNN linearly, allowing them to achieve similar performance as the original networks via Federated Linear Training (FLT). We then present FedRemoval, a certified, efficient, and secure unlearning strategy that enables the server to unlearn a target client without requiring client communication or adding additional storage. We have conducted extensive empirical validation on small- to large-scale datasets, using both convolutional neural networks and modern foundation models. These experiments demonstrate the effectiveness of F^2L^2 in balancing model accuracy with the successful unlearning of target clients. F^2L^2 represents a promising pipeline for efficient and trustworthy FU. The code is available here.
- Abstract（参考訳）: FL(Federated Learning)の出現は、分散システムがユーザのプライバシを維持しながら協調的なモデルトレーニングを処理する方法に革命をもたらした。
近年、フェデレーテッド・アンラーニング(FU)は「忘れられる権利」の要求に対処し、FLでのトレーニングを必要とせず、有毒なクライアントの影響を未学習にしている。
ほとんどのFUアルゴリズムは、保持またはターゲットのクライアント(クライアントは未学習である)の協力を必要とし、通信オーバーヘッドと潜在的なセキュリティリスクを追加する。
さらに、いくつかのFUメソッドは、未学習プロセスを実行するために履歴モデルを格納する必要がある。
これらの課題は、現在のFUメソッドの効率性とメモリ制限を妨げる。
さらに、非線形モデルの複雑さとトレーニング戦略のため、DNN(Deep Neural Network)のための既存のFUメソッドは理論的な認証を欠いている。
本研究では,DNNにおいて,F^2L^2(Forgettable Federated Linear Learning)と呼ばれる新しいFLトレーニングとアンラーニング戦略を導入する。
F^2L^2は、事前訓練されたモデルを用いてDNNを線形に近似する一般的な方法を考えており、Federated Linear Training (FLT) を通じて元のネットワークと同じような性能を実現することができる。
次にFedRemovalという,クライアントとの通信やストレージの追加を必要とせずに,サーバがターゲットクライアントを解放可能な,認証付き,効率的かつセキュアなアンラーニング戦略を提示します。
我々は、畳み込みニューラルネットワークと現代基盤モデルの両方を用いて、小規模から大規模のデータセットに対して広範な実証検証を行った。
これらの実験は、F^2L^2がモデル精度とターゲットクライアントの未学習をうまくバランスさせる効果を実証した。
F^2L^2は、効率的かつ信頼性の高いFUのパイプラインである。
コードはここにある。
関連論文リスト
- Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation [46.86767774669831]
モデル説明の概念に基づく、より効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。
我々は、未学習のデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択します。
論文 参考訳（メタデータ） (2024-06-18T11:43:20Z) - Fast-FedUL: A Training-Free Federated Unlearning with Provable Skew Resilience [26.647028483763137]
我々は、Fast-FedULを紹介した。Fast-FedULは、フェデレートラーニング(FL)のための調整済みの未学習手法である。
訓練されたモデルからターゲットクライアントの影響を体系的に除去するアルゴリズムを開発した。
実験結果から、Fast-FedULはターゲットクライアントのほとんどすべてのトレースを効果的に削除し、未ターゲットクライアントの知識を維持していることがわかった。
論文 参考訳（メタデータ） (2024-05-28T10:51:38Z) - Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T07:04:48Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural
Networks [12.525959293825318]
我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。
LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。
トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
論文 参考訳（メタデータ） (2023-03-18T16:45:54Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Federated Unlearning with Knowledge Distillation [9.666514931140707]
フェデレートラーニング(FL)は、トレーニングプロセス中に各クライアントのデータプライバシを保護するように設計されている。
忘れられる権利に関する最近の法律では、FLモデルが各クライアントから学んだことを忘れる能力を持つことが不可欠である。
モデルから蓄積した履歴更新を減じることで,クライアントの貢献を解消する,新たなフェデレーション付きアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2022-01-24T03:56:20Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳（メタデータ） (2021-07-07T15:42:49Z) - Federated Unlearning [24.60965999954735]
Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。
忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。
FedEraser は、フェデレーション クライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
論文 参考訳（メタデータ） (2020-12-27T08:54:37Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。