論文の概要: Privacy Amplification for Matrix Mechanisms
- arxiv url: http://arxiv.org/abs/2310.15526v2
- Date: Sat, 4 May 2024 18:49:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 00:35:16.013684
- Title: Privacy Amplification for Matrix Mechanisms
- Title（参考訳）: マトリックス機構のプライバシ増幅
- Authors: Christopher A. Choquette-Choo, Arun Ganesh, Thomas Steinke, Abhradeep Thakurta,
- Abstract要約: MMCCは、一般的な行列機構のサンプリングにより、プライバシの増幅を分析する最初のアルゴリズムである。
標準ベンチマークにおけるDP-FTRLアルゴリズムのプライバシ・ユーティリティトレードオフが大幅に改善されることを示す。
- 参考スコア（独自算出の注目度）: 18.13715687378337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy amplification exploits randomness in data selection to provide tighter differential privacy (DP) guarantees. This analysis is key to DP-SGD's success in machine learning, but, is not readily applicable to the newer state-of-the-art algorithms. This is because these algorithms, known as DP-FTRL, use the matrix mechanism to add correlated noise instead of independent noise as in DP-SGD. In this paper, we propose "MMCC", the first algorithm to analyze privacy amplification via sampling for any generic matrix mechanism. MMCC is nearly tight in that it approaches a lower bound as $\epsilon\to0$. To analyze correlated outputs in MMCC, we prove that they can be analyzed as if they were independent, by conditioning them on prior outputs. Our "conditional composition theorem" has broad utility: we use it to show that the noise added to binary-tree-DP-FTRL can asymptotically match the noise added to DP-SGD with amplification. Our amplification algorithm also has practical empirical utility: we show it leads to significant improvement in the privacy-utility trade-offs for DP-FTRL algorithms on standard benchmarks.
- Abstract（参考訳）: プライバシーの増幅は、データ選択のランダム性を利用して、より厳密な差分プライバシー(DP)保証を提供する。
この分析は、DP-SGDが機械学習で成功した鍵であるが、新しい最先端のアルゴリズムには適用できない。
これは、DP-FTRLとして知られるこれらのアルゴリズムが、DP-SGDのように独立ノイズの代わりに相関ノイズを追加するために行列機構を使用するためである。
本稿では,汎用行列機構のサンプリングによるプライバシアンプリフィケーション解析を行うアルゴリズムとして,"MMCC"を提案する。
MMCCは、$\epsilon\to0$という低い値に近づいたため、ほぼ厳密である。
MMCCにおける相関出力を解析するために,先行出力に条件付けすることで,独立であるかのように解析できることを実証する。
条件合成定理」は広範に有効であり、二分木-DP-FTRLに付加される雑音が、DP-SGDに付加される雑音と増幅と漸近的に一致できることを示す。
また,本アルゴリズムは,標準ベンチマーク上でのDP-FTRLアルゴリズムのプライバシ・ユーティリティトレードオフを大幅に改善することを示した。
関連論文リスト
- Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - On the Privacy of Selection Mechanisms with Gaussian Noise [44.577599546904736]
ガウス雑音によるReport Noisy MaxとAbove Thresholdの分析を再検討する。
その結果,Report Noisy Max の純元 DP 境界と Above Threshold の純元 DP 境界を提供することが可能であることがわかった。
論文 参考訳（メタデータ） (2024-02-09T02:11:25Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - (Amplified) Banded Matrix Factorization: A unified approach to private
training [15.922315074913255]
差分プライバシ(DP)のための行列分解(MF)機構は、MLアプリケーションにおけるプライバシ・ユーティリティ・コンピューティングトレードオフの最先端性を大幅に改善した。
フェデレーションおよび集中型トレーニング設定の両方において、MFが先行技術アルゴリズムをサブスクライブする方法を示す。
論文 参考訳（メタデータ） (2023-06-13T21:53:17Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - Improved Matrix Gaussian Mechanism for Differential Privacy [29.865497421453917]
差分プライバシー(DP)メカニズムは、従来のスカラー値ではなく、行列のような構造データのために開発されている。
本研究は,行列値DPのための改良行列ガウス機構 (IMGM) を提案し,その必要十分条件を$(varepsilon,delta) $-differential privacy とした。
行列値DPの正規ノイズ分布のうち、最適ノイズ分布はi.i.dであることが判明した。
さまざまなモデルとデータセットに関する実験も、IMGMが同じプライバシー保証で最先端のメカニズムよりもはるかに高い有用性をもたらすことを検証しています。
論文 参考訳（メタデータ） (2021-04-30T07:44:53Z) - Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。
我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。
数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-11-18T16:40:45Z) - Differentially Private ADMM Algorithms for Machine Learning [38.648113004535155]
勾配摂動による乗算器(ADMM)の高効率な個人交互方向法について検討した。
差分型ADMM(DP-ADMM)アルゴリズムを提案し,性能保証を$(epsilon,delta)$-differential privacy とする。
論文 参考訳（メタデータ） (2020-10-31T01:37:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。