論文の概要: Unified Enhancement of Privacy Bounds for Mixture Mechanisms via
$f$-Differential Privacy
- arxiv url: http://arxiv.org/abs/2310.19973v2
- Date: Wed, 1 Nov 2023 14:43:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 10:33:15.402567
- Title: Unified Enhancement of Privacy Bounds for Mixture Mechanisms via
$f$-Differential Privacy
- Title（参考訳）: f$-differential privacy による混合機構におけるプライバシの統一的拡張
- Authors: Chendi Wang, Buxin Su, Jiayuan Ye, Reza Shokri, Weijie J. Su
- Abstract要約: 本稿では、シャッフルモデルと1点差分勾配勾配のプライバシー境界の改善に焦点をあてる。
シャッフルモデルに対するトレードオフ関数のクローズドフォーム式を導出し、最新の結果よりも優れる。
また, ホッケースティックの進行した関節凸性の$f$-DPアナログを, $(epsilon,delta)$-DPに関連するホッケースティックのばらつきについて検討した。
- 参考スコア（独自算出の注目度）: 41.51051636162107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private (DP) machine learning algorithms incur many sources of
randomness, such as random initialization, random batch subsampling, and
shuffling. However, such randomness is difficult to take into account when
proving differential privacy bounds because it induces mixture distributions
for the algorithm's output that are difficult to analyze. This paper focuses on
improving privacy bounds for shuffling models and one-iteration differentially
private gradient descent (DP-GD) with random initializations using $f$-DP. We
derive a closed-form expression of the trade-off function for shuffling models
that outperforms the most up-to-date results based on $(\epsilon,\delta)$-DP.
Moreover, we investigate the effects of random initialization on the privacy of
one-iteration DP-GD. Our numerical computations of the trade-off function
indicate that random initialization can enhance the privacy of DP-GD. Our
analysis of $f$-DP guarantees for these mixture mechanisms relies on an
inequality for trade-off functions introduced in this paper. This inequality
implies the joint convexity of $F$-divergences. Finally, we study an $f$-DP
analog of the advanced joint convexity of the hockey-stick divergence related
to $(\epsilon,\delta)$-DP and apply it to analyze the privacy of mixture
mechanisms.
- Abstract（参考訳）: 差分プライベート(DP)機械学習アルゴリズムは、ランダム初期化、ランダムバッチサブサンプリング、シャッフルなど、ランダム性の多くのソースを生成する。
しかし、そのようなランダム性は、解析が難しいアルゴリズムの出力に対する混合分布を誘導するため、微分プライバシー境界を証明する際に考慮するのは難しい。
本稿では,シャッフルモデルとDP-GD (One-iteration differentially private gradient descent) のプライバシ境界の改善に焦点をあてる。
シャッフルモデルに対するトレードオフ関数のクローズドフォーム式を導出し、$(\epsilon,\delta)$-DP に基づいて最新の結果を上回る結果を得る。
また,DP-GDのプライバシーに対するランダム初期化の影響について検討した。
トレードオフ関数の数値計算は、ランダム初期化がDP-GDのプライバシーを高めることを示唆している。
これらの混合機構に対する$f$-DP保証の解析は,本論文で導入されたトレードオフ関数の不等式に依存する。
この不等式は、f$-divergences の合同凸性を意味する。
最後に, ホッケースティックの高精度な連接凸性に関する$f$-DP類似を$(\epsilon,\delta)$-DPで検討し, 混合機構のプライバシ解析に応用する。
関連論文リスト
- Shifted Interpolation for Differential Privacy [6.1836947007564085]
雑音勾配降下とその変種は、微分プライベート機械学習の主要なアルゴリズムである。
本稿では、$f$差分プライバシの統一化フレームワークにおいて、"corollary によるプライバシ増幅" 現象を確立する。
これは、強力な凸最適化の基礎的な設定において、最初の正確なプライバシー分析につながる。
論文 参考訳（メタデータ） (2024-03-01T04:50:04Z) - A Generalized Shuffle Framework for Privacy Amplification: Strengthening Privacy Guarantees and Enhancing Utility [4.7712438974100255]
パーソナライズされたプライバシパラメータで$(epsilon_i,delta_i)$-PLDP設定をシャッフルする方法を示す。
shuffled $(epsilon_i,delta_i)$-PLDP process approximately saves $mu$-Gaussian Differential Privacy with mu = sqrtfrac2sum_i=1n frac1-delta_i1+eepsilon_i-max_ifrac1-delta_i1+e
論文 参考訳（メタデータ） (2023-12-22T02:31:46Z) - Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy [23.12198546384976]
後方サンプリングは$varepsilon$-pure差分プライバシー保証を提供する。
これは、$(varepsilon,delta)$-approximate DPによって引き起こされた潜在的に束縛されていないプライバシー侵害に悩まされない。
しかし実際には、マルコフ連鎖モンテカルロのような近似的なサンプリング手法を適用する必要がある。
論文 参考訳（メタデータ） (2023-10-23T07:54:39Z) - The Poisson binomial mechanism for secure and private federated learning [19.399122892615573]
本稿では,分散平均推定(DME)のための離散的差分プライバシー機構を導入し,フェデレーション学習と分析に応用する。
我々は、プライバシー保証の厳密な分析を行い、連続的なガウス機構と同じプライバシーと精度のトレードオフを達成することを示す。
論文 参考訳（メタデータ） (2022-07-09T05:46:28Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Nonparametric extensions of randomized response for private confidence sets [51.75485869914048]
本研究は,局所的差分プライバシー(LDP)の制約の下で,集団平均の非パラメトリック,非漸近的統計的推測を行う手法を導出する。
民営化データへのアクセスのみを与えられた場合、$mustar$に対して信頼区間(CI)と時間一様信頼シーケンス(CS)を提示する。
論文 参考訳（メタデータ） (2022-02-17T16:04:49Z) - Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy
Amplification by Shuffling [49.43288037509783]
ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。
私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
論文 参考訳（メタデータ） (2020-12-23T17:07:26Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。