論文の概要: Forgettable Federated Linear Learning with Certified Data Removal
- arxiv url: http://arxiv.org/abs/2306.02216v1
- Date: Sat, 3 Jun 2023 23:53:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 19:29:10.166343
- Title: Forgettable Federated Linear Learning with Certified Data Removal
- Title(参考訳): 認定データ除去によるleadingtableフェデレーション線形学習
- Authors: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li
- Abstract要約: Federated Learning(FL)は、データ共有なしで協調的なモデルトレーニングを可能にする、トレンドの分散学習フレームワークである。
本研究では,クライアントに忘れられる権利を与えるFLパラダイムに焦点をあてる。」
- 参考スコア(独自算出の注目度): 31.9726861621826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a trending distributed learning framework that
enables collaborative model training without data sharing. Machine learning
models trained on datasets can potentially expose the private information of
the training data, revealing details about individual data records. In this
study, we focus on the FL paradigm that grants clients the ``right to be
forgotten''. The forgettable FL framework should bleach its global model
weights as it has never seen that client and hence does not reveal any
information about the client. To this end, we propose the Forgettable Federated
Linear Learning (2F2L) framework featured with novel training and data removal
strategies. The training pipeline, named Federated linear training, employs
linear approximation on the model parameter space to enable our 2F2L framework
work for deep neural networks while achieving comparable results with canonical
neural network training. We also introduce FedRemoval, an efficient and
effective removal strategy that tackles the computational challenges in FL by
approximating the Hessian matrix using public server data from the pretrained
model. Unlike the previous uncertified and heuristic machine unlearning methods
in FL, we provide theoretical guarantees by bounding the differences of model
weights by our FedRemoval and that from retraining from scratch. Experimental
results on MNIST and Fashion-MNIST datasets demonstrate the effectiveness of
our method in achieving a balance between model accuracy and information
removal, outperforming baseline strategies and approaching retraining from
scratch.
- Abstract(参考訳): Federated Learning(FL)は、データ共有なしで協調的なモデルトレーニングを可能にする、トレンドの分散学習フレームワークである。
データセットでトレーニングされた機械学習モデルは、トレーニングデータのプライベート情報を公開し、個々のデータレコードの詳細を明らかにする可能性がある。
本研究では,クライアントに‘忘れられる権利’を付与するflパラダイムに着目した。
忘れられるようなFLフレームワークは、クライアントを見たことがないので、グローバルなモデルの重みを白くしなければなりません。
この目的のために,新しいトレーニングとデータ削除戦略を特徴とする2F2L(Forgettable Federated Linear Learning)フレームワークを提案する。
トレーニングパイプラインはFederated linear trainingと名付けられ、モデルパラメータ空間に線形近似を用いて、深いニューラルネットワークで2F2Lフレームワークを動作させ、標準的なニューラルネットワークトレーニングで同等の結果を得る。
また,前訓練モデルの公開サーバデータを用いてヘシアン行列を近似することにより,flの計算課題に対処する効率的かつ効率的な除去戦略であるfeedremovalを導入する。
flにおける従来未確認でヒューリスティックなマシンアンラーニング手法と異なり,モデル重みのferemovalによる差異と,スクラッチから再トレーニングすることによる理論的保証を提供する。
MNISTとFashion-MNISTデータセットによる実験結果から,モデル精度と情報除去のバランス,ベースライン戦略の向上,スクラッチから再トレーニングに近づく上での有効性が示された。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Federated Unlearning via Active Forgetting [24.060724751342047]
インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
論文 参考訳(メタデータ) (2023-07-07T03:07:26Z) - TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳(メタデータ) (2023-03-24T17:56:22Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - The Right to be Forgotten in Federated Learning: An Efficient
Realization with Rapid Retraining [22.16510303054159]
訓練されたFLモデルからデータサンプルを完全に消去する高速再学習手法を提案する。
我々の形式的収束と複雑性解析は、我々の設計がモデルユーティリティを高い効率で維持できることを示した。
論文 参考訳(メタデータ) (2022-03-14T17:22:40Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Federated Unlearning with Knowledge Distillation [9.666514931140707]
フェデレートラーニング(FL)は、トレーニングプロセス中に各クライアントのデータプライバシを保護するように設計されている。
忘れられる権利に関する最近の法律では、FLモデルが各クライアントから学んだことを忘れる能力を持つことが不可欠である。
モデルから蓄積した履歴更新を減じることで,クライアントの貢献を解消する,新たなフェデレーション付きアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2022-01-24T03:56:20Z) - Federated Unlearning [24.60965999954735]
Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。
忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。
FedEraser は、フェデレーション クライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
論文 参考訳(メタデータ) (2020-12-27T08:54:37Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。