論文の概要: Forgettable Federated Linear Learning with Certified Data Removal
- arxiv url: http://arxiv.org/abs/2306.02216v1
- Date: Sat, 3 Jun 2023 23:53:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 19:29:10.166343
- Title: Forgettable Federated Linear Learning with Certified Data Removal
- Title（参考訳）: 認定データ除去によるleadingtableフェデレーション線形学習
- Authors: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li
- Abstract要約: Federated Learning(FL)は、データ共有なしで協調的なモデルトレーニングを可能にする、トレンドの分散学習フレームワークである。
本研究では,クライアントに忘れられる権利を与えるFLパラダイムに焦点をあてる。」
- 参考スコア（独自算出の注目度）: 31.9726861621826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a trending distributed learning framework that
enables collaborative model training without data sharing. Machine learning
models trained on datasets can potentially expose the private information of
the training data, revealing details about individual data records. In this
study, we focus on the FL paradigm that grants clients the ``right to be
forgotten''. The forgettable FL framework should bleach its global model
weights as it has never seen that client and hence does not reveal any
information about the client. To this end, we propose the Forgettable Federated
Linear Learning (2F2L) framework featured with novel training and data removal
strategies. The training pipeline, named Federated linear training, employs
linear approximation on the model parameter space to enable our 2F2L framework
work for deep neural networks while achieving comparable results with canonical
neural network training. We also introduce FedRemoval, an efficient and
effective removal strategy that tackles the computational challenges in FL by
approximating the Hessian matrix using public server data from the pretrained
model. Unlike the previous uncertified and heuristic machine unlearning methods
in FL, we provide theoretical guarantees by bounding the differences of model
weights by our FedRemoval and that from retraining from scratch. Experimental
results on MNIST and Fashion-MNIST datasets demonstrate the effectiveness of
our method in achieving a balance between model accuracy and information
removal, outperforming baseline strategies and approaching retraining from
scratch.
- Abstract（参考訳）: Federated Learning(FL)は、データ共有なしで協調的なモデルトレーニングを可能にする、トレンドの分散学習フレームワークである。
データセットでトレーニングされた機械学習モデルは、トレーニングデータのプライベート情報を公開し、個々のデータレコードの詳細を明らかにする可能性がある。
本研究では,クライアントに‘忘れられる権利’を付与するflパラダイムに着目した。
忘れられるようなFLフレームワークは、クライアントを見たことがないので、グローバルなモデルの重みを白くしなければなりません。
この目的のために,新しいトレーニングとデータ削除戦略を特徴とする2F2L(Forgettable Federated Linear Learning)フレームワークを提案する。
トレーニングパイプラインはFederated linear trainingと名付けられ、モデルパラメータ空間に線形近似を用いて、深いニューラルネットワークで2F2Lフレームワークを動作させ、標準的なニューラルネットワークトレーニングで同等の結果を得る。
また,前訓練モデルの公開サーバデータを用いてヘシアン行列を近似することにより,flの計算課題に対処する効率的かつ効率的な除去戦略であるfeedremovalを導入する。
flにおける従来未確認でヒューリスティックなマシンアンラーニング手法と異なり,モデル重みのferemovalによる差異と,スクラッチから再トレーニングすることによる理論的保証を提供する。
MNISTとFashion-MNISTデータセットによる実験結果から,モデル精度と情報除去のバランス,ベースライン戦略の向上,スクラッチから再トレーニングに近づく上での有効性が示された。
関連論文リスト
- Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation [46.86767774669831]
モデル説明の概念に基づく、より効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。
我々は、未学習のデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択します。
論文 参考訳（メタデータ） (2024-06-18T11:43:20Z) - Fast-FedUL: A Training-Free Federated Unlearning with Provable Skew Resilience [26.647028483763137]
我々は、Fast-FedULを紹介した。Fast-FedULは、フェデレートラーニング(FL)のための調整済みの未学習手法である。
訓練されたモデルからターゲットクライアントの影響を体系的に除去するアルゴリズムを開発した。
実験結果から、Fast-FedULはターゲットクライアントのほとんどすべてのトレースを効果的に削除し、未ターゲットクライアントの知識を維持していることがわかった。
論文 参考訳（メタデータ） (2024-05-28T10:51:38Z) - Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T07:04:48Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural
Networks [12.525959293825318]
我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。
LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。
トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
論文 参考訳（メタデータ） (2023-03-18T16:45:54Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Federated Unlearning with Knowledge Distillation [9.666514931140707]
フェデレートラーニング(FL)は、トレーニングプロセス中に各クライアントのデータプライバシを保護するように設計されている。
忘れられる権利に関する最近の法律では、FLモデルが各クライアントから学んだことを忘れる能力を持つことが不可欠である。
モデルから蓄積した履歴更新を減じることで,クライアントの貢献を解消する,新たなフェデレーション付きアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2022-01-24T03:56:20Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳（メタデータ） (2021-07-07T15:42:49Z) - Federated Unlearning [24.60965999954735]
Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。
忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。
FedEraser は、フェデレーション クライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
論文 参考訳（メタデータ） (2020-12-27T08:54:37Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。