論文の概要: On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times

• arxiv url: http://arxiv.org/abs/2101.04163v1
• Date: Mon, 11 Jan 2021 19:43:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 14:46:20.796810
• Title: On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times
• Title（参考訳）: 反復時間調整によるフェデレーション学習における差分プライバシーの実践性について
• Authors: Yao Fu, Yipeng Zhou, Di Wu, Shui Yu, Yonggang Wen, Chao Li
• Abstract要約: フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
• 参考スコア（独自算出の注目度）: 51.61278695776151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In spite that Federated Learning (FL) is well known for its privacy protection when training machine learning models among distributed clients collaboratively, recent studies have pointed out that the naive FL is susceptible to gradient leakage attacks. In the meanwhile, Differential Privacy (DP) emerges as a promising countermeasure to defend against gradient leakage attacks. However, the adoption of DP by clients in FL may significantly jeopardize the model accuracy. It is still an open problem to understand the practicality of DP from a theoretic perspective. In this paper, we make the first attempt to understand the practicality of DP in FL through tuning the number of conducted iterations. Based on the FedAvg algorithm, we formally derive the convergence rate with DP noises in FL. Then, we theoretically derive: 1) the conditions for the DP based FedAvg to converge as the number of global iterations (GI) approaches infinity; 2) the method to set the number of local iterations (LI) to minimize the negative influence of DP noises. By further substituting the Laplace and Gaussian mechanisms into the derived convergence rate respectively, we show that: 3) The DP based FedAvg with the Laplace mechanism cannot converge, but the divergence rate can be effectively prohibited by setting the number of LIs with our method; 4) The learning error of the DP based FedAvg with the Gaussian mechanism can converge to a constant number finally if we use a fixed number of LIs per GI. To verify our theoretical findings, we conduct extensive experiments using two real-world datasets. The results not only validate our analysis results, but also provide useful guidelines on how to optimize model accuracy when incorporating DP into FL
• Abstract（参考訳）: 分散クライアント間の機械学習モデルを協調的にトレーニングする場合、連合学習(federated learning, fl)はプライバシ保護でよく知られているが、最近の研究では、naive flが勾配リーク攻撃の影響を受けやすいことを指摘している。 一方、ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。 しかし、FLにおけるクライアントによるDPの採用はモデルの精度を著しく損なう可能性がある。 理論的な観点からDPの実践性を理解することは依然としてオープンな問題である。 本稿では, 反復回数を調整し, flにおけるdpの実用性を理解するための最初の試みを行う。 我々はFedAvgアルゴリズムに基づいて、FLにおけるDPノイズによる収束率を公式に導出する。 その結果,1)大域的反復数(GI)が無限大に近づくにつれて,DPベースのFedAvgが収束する条件,2)DPノイズの負の影響を最小限に抑えるために局所的反復数(LI)を設定する方法,が導かれる。 さらに,ラプラスとガウスの機構をそれぞれ導出収束率に置換することにより,以下のことを示す。 3) ラプラス機構を持つdpベースのフェダブは収束できないが,本手法で lis の数を設定することで発散速度を効果的に防止できる。 4) ガウス機構を用いたdpベースのフェダブの学習誤差は,gi 当たりの lis 数が一定であれば,最終的に一定数に収束する。 理論的知見を検証するため、2つの実世界のデータセットを用いて広範な実験を行った。 その結果,解析結果だけでなく,DPをFLに組み込む際のモデル精度の最適化に関する有用なガイドラインが得られた。

関連論文リスト

• To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling [25.669347036509134]
  シャッフル法を用いてDP-SGDを解析した。 プライバシー保証を十分に過大評価(最大4倍)することで訓練された最先端のDPモデルを示す。 我々の研究は、DP-SGDの実際のプライバシー漏洩を、Poissonサブサンプリングのvis-a-visに代えてシャッフルを使用するリスクを実証的に証明している。
  論文  参考訳（メタデータ） (2024-11-15T22:34:28Z)
• Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
  バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T19:06:16Z)
• Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
  CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。 本稿では,誘導係数を緩和したReCFGを提案する。 このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。 提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-03-20T16:27:36Z)
• Generative Modeling with Flow-Guided Density Ratio Learning [12.192867460641835]
  Flow-Guided Density Ratio Learning (FDRL)は、生成モデルに対するシンプルでスケーラブルなアプローチである。 我々は,FDRLが128時間128ドルの高次元の画像を生成するとともに,既存の勾配流ベースラインを定量的なベンチマークで上回っていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T07:55:52Z)
• Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy [27.243322019117144]
  フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。 トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。 差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。 本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
  論文  参考訳（メタデータ） (2022-02-15T04:05:42Z)
• Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
  Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。 最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。 一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:59:43Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。