論文の概要: Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy
- arxiv url: http://arxiv.org/abs/2106.13673v1
- Date: Fri, 25 Jun 2021 14:47:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-28 16:20:09.484135
- Title: Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy
- Title(参考訳): フェデレーション学習のためのクリッピングの理解:収束とクライアントレベルの差分プライバシー
- Authors: Xinwei Zhang, Xiangyi Chen, Mingyi Hong, Zhiwei Steven Wu and Jinfeng
Yi
- Abstract要約: 本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
- 参考スコア(独自算出の注目度): 67.4471689755097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Providing privacy protection has been one of the primary motivations of
Federated Learning (FL). Recently, there has been a line of work on
incorporating the formal privacy notion of differential privacy with FL. To
guarantee the client-level differential privacy in FL algorithms, the clients'
transmitted model updates have to be clipped before adding privacy noise. Such
clipping operation is substantially different from its counterpart of gradient
clipping in the centralized differentially private SGD and has not been
well-understood. In this paper, we first empirically demonstrate that the
clipped FedAvg can perform surprisingly well even with substantial data
heterogeneity when training neural networks, which is partly because the
clients' updates become similar for several popular deep architectures. Based
on this key observation, we provide the convergence analysis of a differential
private (DP) FedAvg algorithm and highlight the relationship between clipping
bias and the distribution of the clients' updates. To the best of our
knowledge, this is the first work that rigorously investigates theoretical and
empirical issues regarding the clipping operation in FL algorithms.
- Abstract(参考訳): プライバシ保護の提供は、フェデレートラーニング(FL)の主要な動機の1つだ。
近年、差分プライバシーという形式的なプライバシー概念をFLに組み込むことに取り組んできた。
flアルゴリズムにおけるクライアントレベルのディファレンシャルプライバシを保証するためには、プライバシノイズを追加する前に、クライアントのモデル更新をクリップする必要がある。
このようなクリッピング操作は、偏微分プライベートSGDにおける勾配クリッピングとは大きく異なり、十分に理解されていない。
本稿では,ニューラルネットワークのトレーニングにおいて,有意なデータ不均一性を伴っても,カットしたFedAvgが驚くほど良好に動作可能であることを実証的に実証する。
このキーとなる観測に基づいて、差分プライベート(DP)のFedAvgアルゴリズムの収束解析を行い、クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
私たちの知る限りでは、flアルゴリズムのクリッピング操作に関する理論的および経験的問題を厳格に調査するのはこれが初めてです。
関連論文リスト
- Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳(メタデータ) (2023-10-31T16:13:22Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and
Non-smooth Problems with Model Sparsification [54.767648945613004]
フェデレートラーニング(FL)は急速に成長している分野として認識されている。
パラメータの非平滑性と非共有性は、FLアプリケーションで一般的である。
論文 参考訳(メタデータ) (2023-10-30T14:15:47Z) - Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。
既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。
差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-08-07T06:07:04Z) - Balancing Privacy and Performance for Private Federated Learning
Algorithms [4.681076651230371]
Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにモデルをトレーニングする分散機械学習フレームワークである。
FLアルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシーメカニズムを頻繁に採用する。
ローカルステップの数と通信ラウンドの間に最適なバランスがあることを示し、プライバシー予算内での収束性能を最大化する。
論文 参考訳(メタデータ) (2023-04-11T10:42:11Z) - FedPerm: Private and Robust Federated Learning by Parameter Permutation [2.406359246841227]
Federated Learning(FL)は、相互に信頼できないクライアントが共通の機械学習モデルを共同でトレーニングできるようにする分散学習パラダイムである。
クライアントデータのプライバシはFLで最重要である。同時に、モデルが敵のクライアントからの攻撃から保護されなければならない。
我々は、データプライバシを増幅する新しいモデル内パラメータシャッフル技術と、クライアントのモデル更新の暗号化集約を可能にするPrivate Information Retrieval(PIR)ベースの技術を組み合わせることで、これらの問題に対処する新しいFLアルゴリズムであるFedPermを提案する。
論文 参考訳(メタデータ) (2022-08-16T19:40:28Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳(メタデータ) (2022-02-14T18:33:12Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳(メタデータ) (2022-01-25T04:43:29Z) - Federated Deep Learning with Bayesian Privacy [28.99404058773532]
フェデレートラーニング(FL)は、ユーザ間でプライベートデータを共有せずにモデルを協調的に学習することで、データのプライバシを保護することを目的としている。
ホモモルフィック暗号化(HE)ベースの手法は、セキュアなプライバシ保護を提供するが、非常に高い計算と通信のオーバーヘッドに悩まされる。
差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。
論文 参考訳(メタデータ) (2021-09-27T12:48:40Z) - Privacy-preserving Traffic Flow Prediction: A Federated Learning
Approach [61.64006416975458]
本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。
FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。
FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
論文 参考訳(メタデータ) (2020-03-19T13:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。