Fugu-MT 論文翻訳(概要): The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning

論文の概要: The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning

arxiv url: http://arxiv.org/abs/2203.03761v1
Date: Mon, 7 Mar 2022 22:56:09 GMT
ステータス: 処理完了
システム内更新日: 2022-03-09 13:49:37.722865
Title: The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning
Title（参考訳）: 個人差分学習におけるセキュアアグリゲーションの基本的価格
Authors: Wei-Ning Chen, Christopher A. Choquette-Choo, Peter Kairouz, Ananda Theertha Suresh
Abstract要約: 我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
参考スコア（独自算出の注目度）: 34.630300910399036
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We consider the problem of training a $d$ dimensional model with distributed differential privacy (DP) where secure aggregation (SecAgg) is used to ensure that the server only sees the noisy sum of $n$ model updates in every training round. Taking into account the constraints imposed by SecAgg, we characterize the fundamental communication cost required to obtain the best accuracy achievable under $\varepsilon$ central DP (i.e. under a fully trusted server and no communication constraints). Our results show that $\tilde{O}\left( \min(n^2\varepsilon^2, d) \right)$ bits per client are both sufficient and necessary, and this fundamental limit can be achieved by a linear scheme based on sparse random projections. This provides a significant improvement relative to state-of-the-art SecAgg distributed DP schemes which use $\tilde{O}(d\log(d/\varepsilon^2))$ bits per client. Empirically, we evaluate our proposed scheme on real-world federated learning tasks. We find that our theoretical analysis is well matched in practice. In particular, we show that we can reduce the communication cost significantly to under $1.2$ bits per parameter in realistic privacy settings without decreasing test-time performance. Our work hence theoretically and empirically specifies the fundamental price of using SecAgg.
Abstract（参考訳）: 分散ディファレンシャルプライバシ(dp)を備えた,分散ディファレンシャルプライバシ(d$ dimensional model)をトレーニングする問題を考える。そこではセキュアアグリゲーション(secagg)を使用して,トレーニングラウンド毎に,サーバがノイズの多いモデル更新の合計値のみを確認する。 secaggが課す制約を考慮して、$\varepsilon$ central dp(すなわち、完全信頼されたサーバ下で通信制約なし)で実現可能な最高の精度を得るために必要な基本的な通信コストを特徴付ける。その結果、クライアント毎の$\tilde{o}\left( \min(n^2\varepsilon^2, d) \right)$bitsは十分かつ必要であり、この基本的な極限はスパースランダム射影に基づく線形スキームによって達成できることがわかった。これは、クライアントごとに$\tilde{o}(d\log(d/\varepsilon^2))$bitを使用する、最先端のsecagg分散dpスキームと比較して大幅に改善される。実世界のフェデレーション学習における提案手法を実証的に評価した。我々の理論分析は実際はよく一致している。特に、テスト時間性能を低下させることなく、現実的なプライバシ設定において、通信コストをパラメータあたり12ドル以下に大幅に削減できることを示す。したがって、我々の研究はSecAggを使用する基本的な価格を理論的かつ実証的に特定する。

関連論文リスト

PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds [9.47030623916154]
そこで本研究では,分散化による勾配プッシュを応用し,各ノードのプライバシを保証する,差分プライベートな分散学習手法(PrivSGPVR)を提案する。この理論解析により, DP雑音下では, PrivGPS-VR は$mathcalO (1/sqrtnK)$のサブ線形収束速度を達成できることがわかった。
論文参考訳（メタデータ） (2024-05-04T11:22:53Z)
Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文参考訳（メタデータ） (2023-11-03T13:20:11Z)
Privacy Amplification via Compression: Achieving the Optimal Privacy-Accuracy-Communication Trade-off in Distributed Mean Estimation [20.909302074826666]
プライバシとコミュニケーションの制約は、連邦学習(FL)と分析(FA)の2つの主要なボトルネックであるそれぞれのクライアントが$Thetaleft(n minleft(varepsilon, varepsilon2right)$ bits for FL と $Thetaleft(logleft(minleft(varepsilon, varepsilon2right)$)$ bits for FA の送信に十分であることを示す。
論文参考訳（メタデータ） (2023-04-04T05:37:17Z)
Differentially Private Image Classification from Features [53.75086935617644]
転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
論文参考訳（メタデータ） (2022-11-24T04:04:20Z)
Differentially Private Deep Learning with ModelMix [14.445182641912014]
そこで本研究では,中間モデル状態のランダムアグリゲーションを行う, Em ModelMix と呼ばれる汎用最適化フレームワークを提案する。トレーニング軌跡のエントロピーを利用した複合プライバシー分析を強化する。本研究は,勾配クリッピングの効果に関する公式な研究である。
論文参考訳（メタデータ） (2022-10-07T22:59:00Z)
TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文参考訳（メタデータ） (2022-10-07T08:44:35Z)
Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文参考訳（メタデータ） (2022-06-27T03:45:02Z)
Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
論文参考訳（メタデータ） (2021-11-10T22:12:52Z)
Distributed Sparse Feature Selection in Communication-Restricted Networks [6.9257380648471765]
疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
論文参考訳（メタデータ） (2021-11-02T05:02:24Z)
Boosting Certified $\ell_\infty$ Robustness with EMA Method and Ensemble Model [0.0]
本稿では,$ell_infty$-normニューラルネットワークのトレーニングプロセスを改善するためのEMA法を提案する。トレーニングアルゴリズムのランダム性を考慮して,1ドルのLipschitz特性を持つトレーニングベースモデルに基づくアンサンブル手法を提案する。証明されたロバスト性に基づく1ドルのLipschitz特性に基づくアンサンブル法の理論解析を行い、アルゴリズムの有効性と安定性を保証する。
論文参考訳（メタデータ） (2021-07-01T06:01:12Z)
Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文参考訳（メタデータ） (2021-02-23T18:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。