論文の概要: The Poisson binomial mechanism for secure and private federated learning
- arxiv url: http://arxiv.org/abs/2207.09916v1
- Date: Sat, 9 Jul 2022 05:46:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-24 11:44:31.121665
- Title: The Poisson binomial mechanism for secure and private federated learning
- Title（参考訳）: セキュアでプライベートな連邦学習のためのPoisson二項機構
- Authors: Wei-Ning Chen, Ayfer \"Ozg\"ur, Peter Kairouz
- Abstract要約: 本稿では,分散平均推定(DME)のための離散的差分プライバシー機構を導入し,フェデレーション学習と分析に応用する。
我々は、プライバシー保証の厳密な分析を行い、連続的なガウス機構と同じプライバシーと精度のトレードオフを達成することを示す。
- 参考スコア（独自算出の注目度）: 19.399122892615573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the Poisson Binomial mechanism (PBM), a discrete differential
privacy mechanism for distributed mean estimation (DME) with applications to
federated learning and analytics. We provide a tight analysis of its privacy
guarantees, showing that it achieves the same privacy-accuracy trade-offs as
the continuous Gaussian mechanism. Our analysis is based on a novel bound on
the R\'enyi divergence of two Poisson binomial distributions that may be of
independent interest.
Unlike previous discrete DP schemes based on additive noise, our mechanism
encodes local information into a parameter of the binomial distribution, and
hence the output distribution is discrete with bounded support. Moreover, the
support does not increase as the privacy budget $\varepsilon \rightarrow 0$ as
in the case of additive schemes which require the addition of more noise to
achieve higher privacy; on the contrary, the support becomes smaller as
$\varepsilon \rightarrow 0$. The bounded support enables us to combine our
mechanism with secure aggregation (SecAgg), a multi-party cryptographic
protocol, without the need of performing modular clipping which results in an
unbiased estimator of the sum of the local vectors. This in turn allows us to
apply it in the private FL setting and provide an upper bound on the
convergence rate of the SGD algorithm. Moreover, since the support of the
output distribution becomes smaller as $\varepsilon \rightarrow 0$, the
communication cost of our scheme decreases with the privacy constraint
$\varepsilon$, outperforming all previous distributed DP schemes based on
additive noise in the high privacy or low communication regimes.
- Abstract（参考訳）: 本稿では,分散平均推定(dme)のための離散微分プライバシー機構であるpoisson binomial mechanism(pbm)と,連合学習と分析への応用について紹介する。
我々は、プライバシー保証の厳密な分析を行い、継続的なガウス機構と同じプライバシーと精度のトレードオフを達成することを示す。
我々の分析は、2つのポアソン二項分布の R'enyi の発散に基づくもので、これは独立な関心を持つ可能性がある。
付加雑音に基づく従来の離散DPスキームとは異なり、我々のメカニズムは局所情報を二項分布のパラメータにエンコードするので、出力分布は有界支持で離散的である。
さらに、プライバシ予算の$\varepsilon \rightarrow 0$のように、より高いプライバシを実現するためにより多くのノイズの追加を必要とする付加的なスキームの場合のように、サポートが増加することはない。
境界付きサポートにより,マルチパーティ暗号プロトコルであるセキュアアグリゲーション(secagg)と機構を組み合わせることで,局所ベクトルの和の偏りのない推定結果を生成するモジュール型クリッピングが不要になる。
これにより、これをプライベートFL設定に適用し、SGDアルゴリズムの収束率に上限を与えることができる。
さらに、出力分布のサポートが$\varepsilon \rightarrow 0$と小さくなるにつれて、プライバシ制約の$\varepsilon$によって通信コストが減少し、高プライバシや低通信方式の付加雑音に基づく従来の分散DPスキームよりも性能が向上する。
関連論文リスト
- Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。
本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
論文 参考訳（メタデータ） (2024-03-07T21:22:07Z) - Fixed-Budget Differentially Private Best Arm Identification [62.36929749450298]
差分プライバシー制約下における固定予算制度における線形包帯のベストアーム識別(BAI)について検討した。
誤差確率に基づいてミニマックス下限を導出し、下限と上限が指数関数的に$T$で崩壊することを示した。
論文 参考訳（メタデータ） (2024-01-17T09:23:25Z) - Bounded and Unbiased Composite Differential Privacy [25.427802467876248]
差分プライバシ(DP)の目的は、隣接する2つのデータベース間で区別できない出力分布を生成することにより、プライバシを保護することである。
既存のソリューションでは、後処理やトランケーション技術を使ってこの問題に対処しようとしている。
本稿では,合成確率密度関数を用いて有界および非偏りの出力を生成する新しい微分プライベート機構を提案する。
論文 参考訳（メタデータ） (2023-11-04T04:43:47Z) - Unified Enhancement of Privacy Bounds for Mixture Mechanisms via
$f$-Differential Privacy [41.51051636162107]
本稿では、シャッフルモデルと1点差分勾配勾配のプライバシー境界の改善に焦点をあてる。
シャッフルモデルに対するトレードオフ関数のクローズドフォーム式を導出し、最新の結果よりも優れる。
また, ホッケースティックの進行した関節凸性の$f$-DPアナログを, $(epsilon,delta)$-DPに関連するホッケースティックのばらつきについて検討した。
論文 参考訳（メタデータ） (2023-10-30T19:37:51Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳（メタデータ） (2023-02-19T16:58:53Z) - Connect the Dots: Tighter Discrete Approximations of Privacy Loss
Distributions [49.726408540784334]
PLDベースの会計の鍵となる問題は、特定の個別サポートに対してPLDと(潜在的に連続的な)PLDをどのように近似するかである。
悲観的推定はすべての悲観的推定の中で最良であることを示す。
論文 参考訳（メタデータ） (2022-07-10T04:25:02Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Shuffle Gaussian Mechanism for Differential Privacy [2.7564955518050693]
$$ epsilon(lambda) leq frac1lambda-1logleft(frace-da/2sigma2ndasum_substackk_+dotsc+k_n=lambda;k_nlambda!k_nlambda!k_nlambda!
論文 参考訳（メタデータ） (2022-06-20T04:54:16Z) - Tight Differential Privacy for Discrete-Valued Mechanisms and for the
Subsampled Gaussian Mechanism Using FFT [6.929834518749884]
離散的な1次元の出力を持つアルゴリズムに対して,厳密な$(varepsilon,delta)$-privacy損失を評価するための数値会計法を提案する。
本稿では,従来の文献と同等のプライバシーで,ノイズ分散を最大75%低減できることを示す。
論文 参考訳（メタデータ） (2020-06-12T12:46:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。