論文の概要: Privacy Amplification via Compression: Achieving the Optimal
Privacy-Accuracy-Communication Trade-off in Distributed Mean Estimation
- arxiv url: http://arxiv.org/abs/2304.01541v1
- Date: Tue, 4 Apr 2023 05:37:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 15:03:26.891450
- Title: Privacy Amplification via Compression: Achieving the Optimal
Privacy-Accuracy-Communication Trade-off in Distributed Mean Estimation
- Title（参考訳）: 圧縮によるプライバシ増幅:分散平均推定における最適プライバシ-精度-コミュニケーショントレードオフの実現
- Authors: Wei-Ning Chen, Dan Song, Ayfer Ozgur, Peter Kairouz
- Abstract要約: プライバシとコミュニケーションの制約は、連邦学習(FL)と分析(FA)の2つの主要なボトルネックである
それぞれのクライアントが$Thetaleft(n minleft(varepsilon, varepsilon2right)$ bits for FL と $Thetaleft(logleft(minleft(varepsilon, varepsilon2right)$)$ bits for FA の送信に十分であることを示す。
- 参考スコア（独自算出の注目度）: 20.909302074826666
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy and communication constraints are two major bottlenecks in federated
learning (FL) and analytics (FA). We study the optimal accuracy of mean and
frequency estimation (canonical models for FL and FA respectively) under joint
communication and $(\varepsilon, \delta)$-differential privacy (DP)
constraints. We show that in order to achieve the optimal error under
$(\varepsilon, \delta)$-DP, it is sufficient for each client to send
$\Theta\left( n \min\left(\varepsilon, \varepsilon^2\right)\right)$ bits for FL
and $\Theta\left(\log\left( n\min\left(\varepsilon, \varepsilon^2\right)
\right)\right)$ bits for FA to the server, where $n$ is the number of
participating clients. Without compression, each client needs $O(d)$ bits and
$\log d$ bits for the mean and frequency estimation problems respectively
(where $d$ corresponds to the number of trainable parameters in FL or the
domain size in FA), which means that we can get significant savings in the
regime $ n \min\left(\varepsilon, \varepsilon^2\right) = o(d)$, which is often
the relevant regime in practice. Our algorithms leverage compression for
privacy amplification: when each client communicates only partial information
about its sample, we show that privacy can be amplified by randomly selecting
the part contributed by each client.
- Abstract（参考訳）: プライバシーとコミュニケーションの制約は、連合学習(fl)と分析(fa)における2つの大きなボトルネックである。
共同通信と$(\varepsilon, \delta)$-differential privacy (dp)制約下での平均および周波数推定(flおよびfaのカノニカルモデル)の最適精度について検討した。
我々は、$(\varepsilon, \delta)$-DPの下で最適なエラーを達成するために、各クライアントが$\Theta\left(n \min\left(\varepsilon, \varepsilon^2\right)\right)$ bits for FL and $\Theta\left(\log\left(n\min\left(\varepsilon, \varepsilon^2\right) \right)\right)$ bits for FA to the server。
圧縮がなければ、各クライアントは平均および周波数推定問題に対してそれぞれ$O(d)$ビットと$\log d$ビット(ここで$d$はFLのトレーニング可能なパラメータの数やFAのドメインサイズに対応する)を必要とします。
提案アルゴリズムでは,各クライアントがサンプルに関する部分的な情報のみを通信する場合,各クライアントが提供した部分をランダムに選択することで,プライバシを増幅できることを示す。
関連論文リスト
- Private Mean Estimation with Person-Level Differential Privacy [6.621676316292624]
複数のサンプルを持つ場合の個人レベルの個人別平均推定について検討した。
我々は、計算効率のよいアルゴリズムを、純粋DPで、計算効率の悪いアルゴリズムを、ほぼ一致する下界は、近似DPの最も寛容な場合を抑える。
論文 参考訳（メタデータ） (2024-05-30T18:20:35Z) - Smooth Sensitivity for Geo-Privacy [17.835910182900985]
微分プライバシーの局所モデル (LDP) は、この問題が研究されている主要なモデルである。
Geo-Privacy (GP) は、識別可能性のレベルが$mathrmdist(x_i, x_i')$に比例することを規定している。
微分プライバシーからGeo-Privacyへのスムーズな感度フレームワークを一般化することで、与えられたインスタンスの硬さに合わせてノイズを加えることができます。
論文 参考訳（メタデータ） (2024-05-10T08:32:07Z) - Private Vector Mean Estimation in the Shuffle Model: Optimal Rates Require Many Messages [63.366380571397]
本稿では,プライバシのシャッフルモデルにおけるプライベートベクトル平均推定の問題について検討する。
我々は,$tildemathcalOleft(min(nvarepsilon2,d)right)$ message per users を用いて,最適なエラーを実現する新しいマルチメッセージプロトコルを提案する。
論文 参考訳（メタデータ） (2024-04-16T00:56:36Z) - The Fundamental Price of Secure Aggregation in Differentially Private
Federated Learning [34.630300910399036]
我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。
我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。
これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
論文 参考訳（メタデータ） (2022-03-07T22:56:09Z) - Faster Rates for Compressed Federated Learning with Client-Variance
Reduction [23.169998435268504]
我々はCOFIGとFRECONが$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束していることを示す。
凸設定では、COFIGは$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束する。
論文 参考訳（メタデータ） (2021-12-24T16:28:18Z) - User-Level Private Learning via Correlated Sampling [49.453751858361265]
我々は、各ユーザが$m$のサンプルを持ち、プライバシ保護が各ユーザのデータレベルで実施される設定について検討する。
この設定では、より少ない数のユーザーで学習できることが示されます。
論文 参考訳（メタデータ） (2021-10-21T15:33:53Z) - Locally Differentially Private Reinforcement Learning for Linear Mixture
Markov Decision Processes [78.27542864367821]
強化学習(RL)アルゴリズムは、ユーザのプライベートで機密性の高いデータに依存するパーソナライズされたサービスを提供するために使用することができる。
ユーザのプライバシを保護するために、プライバシ保護RLアルゴリズムが要求されている。
線形混合MDPと呼ばれるマルコフ決定過程(MDP)のクラスを学習するための新しい$(varepsilon, delta)$-LDPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-19T17:44:09Z) - Frequency Estimation Under Multiparty Differential Privacy: One-shot and
Streaming [10.952006057356714]
プライバシと通信の制約下での周波数推定の基本的問題について検討し,そのデータを$k$のパーティ間で分散する。
私たちは、ローカルディファレンシャルプライバシ(LDP)と(分散)ディファレンシャルプライバシよりも一般的なマルチパーティディファレンシャルプライバシ(MDP)のモデルを採用しています。
我々のプロトコルは、より厳密な2つの制約によって許容可能な最適性(対数因子まで)を達成する。
論文 参考訳（メタデータ） (2021-04-05T08:15:20Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - On Distributed Differential Privacy and Counting Distinct Elements [52.701425652208734]
我々は、$n$ユーザのそれぞれが離散集合から要素を保持する設定について研究する。
目標は、すべてのユーザーに対して異なる要素の数を数えることだ。
論文 参考訳（メタデータ） (2020-09-21T04:13:34Z) - Learning discrete distributions: user vs item-level privacy [47.05234904407048]
近年,フェデレート学習のような実践的なアプリケーションでは,単一ユーザのすべての項目に対するプライバシ保護が求められている。
ユーザレベルの差分プライバシーを持つシンボルを$k$で学習する際の基本的な問題について検討する。
ユーザ数が$tildemathcalO(k/(malpha2) + k/sqrtmepsilonalpha)$とスケールする仕組みを提案する。
論文 参考訳（メタデータ） (2020-07-27T16:15:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。