論文の概要: Differentially Private Stochastic Gradient Descent with Fixed-Size Minibatches: Tighter RDP Guarantees with or without Replacement
- arxiv url: http://arxiv.org/abs/2408.10456v1
- Date: Mon, 19 Aug 2024 23:57:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 17:33:21.594434
- Title: Differentially Private Stochastic Gradient Descent with Fixed-Size Minibatches: Tighter RDP Guarantees with or without Replacement
- Title（参考訳）: 固定サイズミニバッチによる個人性確率勾配の差:置換の有無にかかわらず厳密なRDP保証
- Authors: Jeremiah Birrell, Reza Ebrahimi, Rouzbeh Behnia, Jason Pacheco,
- Abstract要約: 固定サイズサブサンプリングシステムにおけるDP-SGD勾配は、メモリ使用率のメリットに加えて、実際的なばらつきが低い。
広範に使われているPoissonサブサンプリングとFSwoRが置き換え1つの隣接性を持つことが、サンプリング確率の上位に同じプライバシを持つことを示す。
- 参考スコア（独自算出の注目度）: 6.494759487261151
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private stochastic gradient descent (DP-SGD) has been instrumental in privately training deep learning models by providing a framework to control and track the privacy loss incurred during training. At the core of this computation lies a subsampling method that uses a privacy amplification lemma to enhance the privacy guarantees provided by the additive noise. Fixed size subsampling is appealing for its constant memory usage, unlike the variable sized minibatches in Poisson subsampling. It is also of interest in addressing class imbalance and federated learning. However, the current computable guarantees for fixed-size subsampling are not tight and do not consider both add/remove and replace-one adjacency relationships. We present a new and holistic R{\'e}nyi differential privacy (RDP) accountant for DP-SGD with fixed-size subsampling without replacement (FSwoR) and with replacement (FSwR). For FSwoR we consider both add/remove and replace-one adjacency. Our FSwoR results improves on the best current computable bound by a factor of $4$. We also show for the first time that the widely-used Poisson subsampling and FSwoR with replace-one adjacency have the same privacy to leading order in the sampling probability. Accordingly, our work suggests that FSwoR is often preferable to Poisson subsampling due to constant memory usage. Our FSwR accountant includes explicit non-asymptotic upper and lower bounds and, to the authors' knowledge, is the first such analysis of fixed-size RDP with replacement for DP-SGD. We analytically and empirically compare fixed size and Poisson subsampling, and show that DP-SGD gradients in a fixed-size subsampling regime exhibit lower variance in practice in addition to memory usage benefits.
- Abstract（参考訳）: 個人的確率勾配降下(DP-SGD)は、訓練中に生じるプライバシー損失を制御・追跡するフレームワークを提供することで、ディープラーニングモデルのプライベートトレーニングに役立っている。
この計算の核心は、付加雑音によるプライバシー保証を強化するために、プライバシー増幅補題を使用するサブサンプリング手法である。
固定サイズのサブサンプリングは、Poissonサブサンプリングの可変サイズのミニバッチとは異なり、メモリ使用量の一定をアピールしている。
また、授業の不均衡や連合学習にも関心がある。
しかし、固定サイズのサブサンプリングに対する現在の計算可能な保証は厳密ではなく、追加/削除と置き換えの隣接関係の両方を考慮していない。
本稿では, DP-SGD に対して, 置換のない固定サイズサブサンプリング (FSwoR) と置換 (FSwR) を併用した新しい総合的R{\'e}nyi差分プライバシ (RDP) カウンタを提案する。
FSwoRでは、adjacencyの追加/削除と置換を両方検討しています。
FSwoRの結果は、最高の計算可能バウンダリを4ドルで改善します。
また、広く使われているPoissonサブサンプリングとFSwoRが、代替の1つの隣接性を持つことが、サンプリング確率の上位に同じプライバシを持つことを示す。
したがって,FSwoR はメモリ使用量が一定であることから,Poisson サブサンプリングに好適であることが示唆された。
我々のFSwR会計士は、明示的な非漸近的上層境界と下層境界を含んでおり、著者の知識では、DP-SGDを置き換えた固定サイズRDPの最初の分析である。
我々は,固定サイズとポアソンサブサンプリングを解析的に,実証的に比較し,固定サイズサブサンプリングシステムにおけるDP-SGD勾配が,メモリ使用率に加えて,実際に低いばらつきを示すことを示す。
関連論文リスト
- To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling [25.669347036509134]
シャッフル法を用いてDP-SGDを解析した。
プライバシー保証を十分に過大評価(最大4倍)することで訓練された最先端のDPモデルを示す。
我々の研究は、DP-SGDの実際のプライバシー漏洩を、Poissonサブサンプリングのvis-a-visに代えてシャッフルを使用するリスクを実証的に証明している。
論文 参考訳（メタデータ） (2024-11-15T22:34:28Z) - Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。
ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。
本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T19:06:16Z) - Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。
DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。
本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
論文 参考訳（メタデータ） (2024-04-24T06:51:16Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。
提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2023-03-20T16:27:36Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Auditing Differential Privacy in High Dimensions with the Kernel Quantum
R\'enyi Divergence [29.796646032324514]
本稿では,確率分布の新たな相違点に基づく差分プライバシーの緩和を提案する。
正規化カーネル R'enyi の発散は高次元においてもサンプルから推定可能であることを示す。
論文 参考訳（メタデータ） (2022-05-27T12:34:17Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳（メタデータ） (2021-01-11T19:43:12Z) - Privacy Amplification via Random Check-Ins [38.72327434015975]
Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。
本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。
当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
論文 参考訳（メタデータ） (2020-07-13T18:14:09Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。