論文の概要: On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times
- arxiv url: http://arxiv.org/abs/2101.04163v1
- Date: Mon, 11 Jan 2021 19:43:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 14:46:20.796810
- Title: On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times
- Title(参考訳): 反復時間調整によるフェデレーション学習における差分プライバシーの実践性について
- Authors: Yao Fu, Yipeng Zhou, Di Wu, Shui Yu, Yonggang Wen, Chao Li
- Abstract要約: フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
- 参考スコア(独自算出の注目度): 51.61278695776151
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In spite that Federated Learning (FL) is well known for its privacy
protection when training machine learning models among distributed clients
collaboratively, recent studies have pointed out that the naive FL is
susceptible to gradient leakage attacks. In the meanwhile, Differential Privacy
(DP) emerges as a promising countermeasure to defend against gradient leakage
attacks. However, the adoption of DP by clients in FL may significantly
jeopardize the model accuracy. It is still an open problem to understand the
practicality of DP from a theoretic perspective. In this paper, we make the
first attempt to understand the practicality of DP in FL through tuning the
number of conducted iterations. Based on the FedAvg algorithm, we formally
derive the convergence rate with DP noises in FL. Then, we theoretically
derive: 1) the conditions for the DP based FedAvg to converge as the number of
global iterations (GI) approaches infinity; 2) the method to set the number of
local iterations (LI) to minimize the negative influence of DP noises. By
further substituting the Laplace and Gaussian mechanisms into the derived
convergence rate respectively, we show that: 3) The DP based FedAvg with the
Laplace mechanism cannot converge, but the divergence rate can be effectively
prohibited by setting the number of LIs with our method; 4) The learning error
of the DP based FedAvg with the Gaussian mechanism can converge to a constant
number finally if we use a fixed number of LIs per GI. To verify our
theoretical findings, we conduct extensive experiments using two real-world
datasets. The results not only validate our analysis results, but also provide
useful guidelines on how to optimize model accuracy when incorporating DP into
FL
- Abstract(参考訳): 分散クライアント間の機械学習モデルを協調的にトレーニングする場合、連合学習(federated learning, fl)はプライバシ保護でよく知られているが、最近の研究では、naive flが勾配リーク攻撃の影響を受けやすいことを指摘している。
一方、ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
しかし、FLにおけるクライアントによるDPの採用はモデルの精度を著しく損なう可能性がある。
理論的な観点からDPの実践性を理解することは依然としてオープンな問題である。
本稿では, 反復回数を調整し, flにおけるdpの実用性を理解するための最初の試みを行う。
我々はFedAvgアルゴリズムに基づいて、FLにおけるDPノイズによる収束率を公式に導出する。
その結果,1)大域的反復数(GI)が無限大に近づくにつれて,DPベースのFedAvgが収束する条件,2)DPノイズの負の影響を最小限に抑えるために局所的反復数(LI)を設定する方法,が導かれる。
さらに,ラプラスとガウスの機構をそれぞれ導出収束率に置換することにより,以下のことを示す。 3) ラプラス機構を持つdpベースのフェダブは収束できないが,本手法で lis の数を設定することで発散速度を効果的に防止できる。 4) ガウス機構を用いたdpベースのフェダブの学習誤差は,gi 当たりの lis 数が一定であれば,最終的に一定数に収束する。
理論的知見を検証するため、2つの実世界のデータセットを用いて広範な実験を行った。
その結果,解析結果だけでなく,DPをFLに組み込む際のモデル精度の最適化に関する有用なガイドラインが得られた。
関連論文リスト
- Online Heavy-tailed Change-point detection [6.7643284029102295]
我々は,データ生成プロセスの第2モーメントが有界であると仮定した場合でも,クリッピングされたグラディエント・ディクセント(SGD)に基づくアルゴリズムを提案する。
我々は、有界な第2モーメントを持つすべての分布の族に対して、最悪の場合、有限サンプル偽陽性率(FPR)を導出する。
本手法は,データが高次元かつ基礎となる分布が重み付きであっても,有限サンプルFPRを保証する最初のOCPDアルゴリズムである。
論文 参考訳(メタデータ) (2023-06-15T23:39:05Z) - Towards the Flatter Landscape and Better Generalization in Federated
Learning under Client-level Differential Privacy [67.33715954653098]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。
より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
論文 参考訳(メタデータ) (2023-05-01T15:19:09Z) - Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。
提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2023-03-20T16:27:36Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳(メタデータ) (2023-02-17T18:45:04Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Federated Learning with Sparsified Model Perturbation: Improving
Accuracy under Client-Level Differential Privacy [27.243322019117144]
フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。
トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。
差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。
本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
論文 参考訳(メタデータ) (2022-02-15T04:05:42Z) - Achieving Statistical Optimality of Federated Learning: Beyond
Stationary Points [19.891597817559038]
Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。
最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。
一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
論文 参考訳(メタデータ) (2021-06-29T09:59:43Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。