論文の概要: Privacy Amplification for Federated Learning via User Sampling and
Wireless Aggregation
- arxiv url: http://arxiv.org/abs/2103.01953v1
- Date: Tue, 2 Mar 2021 18:59:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 15:38:55.069275
- Title: Privacy Amplification for Federated Learning via User Sampling and
Wireless Aggregation
- Title（参考訳）: ユーザサンプリングとワイヤレスアグリゲーションによるフェデレーション学習のプライバシー増幅
- Authors: Mohamed Seif, Wei-Ting Chang, Ravi Tandon
- Abstract要約: ユーザサンプリングを用いた無線チャネル上でのフェデレーション学習の問題点について検討する。
本稿では,各ユーザによる個別のランダム参加決定に依拠する個人無線勾配集約方式を提案する。
- 参考スコア（独自算出の注目度）: 17.56067859013419
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study the problem of federated learning over a wireless
channel with user sampling, modeled by a Gaussian multiple access channel,
subject to central and local differential privacy (DP/LDP) constraints. It has
been shown that the superposition nature of the wireless channel provides a
dual benefit of bandwidth efficient gradient aggregation, in conjunction with
strong DP guarantees for the users. Specifically, the central DP privacy
leakage has been shown to scale as $\mathcal{O}(1/K^{1/2})$, where $K$ is the
number of users. It has also been shown that user sampling coupled with
orthogonal transmission can enhance the central DP privacy leakage with the
same scaling behavior. In this work, we show that, by join incorporating both
wireless aggregation and user sampling, one can obtain even stronger privacy
guarantees. We propose a private wireless gradient aggregation scheme, which
relies on independently randomized participation decisions by each user. The
central DP leakage of our proposed scheme scales as $\mathcal{O}(1/K^{3/4})$.
In addition, we show that LDP is also boosted by user sampling. We also present
analysis for the convergence rate of the proposed scheme and study the
tradeoffs between wireless resources, convergence, and privacy theoretically
and empirically for two scenarios when the number of sampled participants are
$(a)$ known, or $(b)$ unknown at the parameter server.
- Abstract（参考訳）: 本稿では,ガウスマルチアクセスチャネルをモデルとしたユーザサンプリングによる無線チャネル上でのフェデレーション学習の問題点を,DP/LDP(集中的および局所的差分プライバシ)制約下で検討する。
無線チャネルの重畳特性は、ユーザに対する強力なDP保証とともに、帯域幅効率のよい勾配アグリゲーションの2つの利点をもたらすことが示されている。
具体的には、中央DPプライバシーリークは$\mathcal{O}(1/K^{1/2})$としてスケールすることが示されています。
また, 直交送信と併用したユーザサンプリングにより, 同じスケーリング動作でDPプライバシリークの中央化が図られている。
本研究では,ワイヤレスアグリゲーションとユーザサンプリングの両方を組み込むことで,より強力なプライバシー保証を得ることができることを示す。
本稿では,各ユーザによる個別のランダム参加決定に依拠する個人無線勾配集約方式を提案する。
提案手法の中心となるDPリークは$\mathcal{O}(1/K^{3/4})$である。
さらに,LDPもユーザサンプリングによって向上していることを示した。
また,提案手法の収束率の解析を行い,パラメータサーバにおけるサンプル参加者数$(a)$known,$(b)$ unknownの2つのシナリオに対して,無線リソース,収束,プライバシ間のトレードオフを理論的および実証的に検討する。
関連論文リスト
- Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。
ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。
本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T19:06:16Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - (Private) Kernelized Bandits with Distributed Biased Feedback [13.312928989951505]
分散バイアスフィードバックを用いたカーネル化された帯域幅について検討する。
Emphdistributed phase-then-batch-based elimination (textttDPBE)アルゴリズムを提案する。
textttDPBE は $tildeO(T1-alpha/2+sqrtgamma_TT)$ のサブ線形後悔を実現する。
論文 参考訳（メタデータ） (2023-01-28T02:30:15Z) - Discrete Distribution Estimation under User-level Local Differential
Privacy [37.65849910114053]
ユーザレベルの局所差分プライバシー(LDP)に基づく離散分布推定について検討する。
ユーザレベルの$varepsilon$-LDPでは、各ユーザは$mge1$サンプルを持ち、すべての$m$サンプルのプライバシを同時に保存する必要がある。
論文 参考訳（メタデータ） (2022-11-07T18:29:32Z) - On Differential Privacy for Federated Learning in Wireless Systems with
Multiple Base Stations [90.53293906751747]
複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。
本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。
提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
論文 参考訳（メタデータ） (2022-08-25T03:37:11Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Federated Stochastic Primal-dual Learning with Differential Privacy [15.310299472656533]
差分プライバシ(FedSPDDP)を用いた新しいフェデレーション原始双対アルゴリズムを提案する。
分析の結果、データサンプリング戦略とPCPはデータのプライバシを高めることができる一方で、ローカルなSGDステップが多ければ多いほど、プライバシリークが増大する可能性が示唆された。
提案アルゴリズムの実用性能を評価する実験結果を示す。
論文 参考訳（メタデータ） (2022-04-26T13:10:37Z) - Differentially Private Federated Learning on Heterogeneous Data [10.431137628048356]
フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。
i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。
本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
論文 参考訳（メタデータ） (2021-11-17T18:23:49Z) - User-Level Private Learning via Correlated Sampling [49.453751858361265]
我々は、各ユーザが$m$のサンプルを持ち、プライバシ保護が各ユーザのデータレベルで実施される設定について検討する。
この設定では、より少ない数のユーザーで学習できることが示されます。
論文 参考訳（メタデータ） (2021-10-21T15:33:53Z) - Privacy Amplification via Random Check-Ins [38.72327434015975]
Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。
本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。
当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
論文 参考訳（メタデータ） (2020-07-13T18:14:09Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。