論文の概要: Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses
- arxiv url: http://arxiv.org/abs/2407.05237v1
- Date: Sun, 7 Jul 2024 02:35:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 20:37:03.758896
- Title: Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses
- Title（参考訳）: 非凸複合損失に対する周期サンプリングDP-SGDにおける最終イテレーションのプライバシー
- Authors: Weiwei Kong, Mónica Ribero,
- Abstract要約: 現在の会計手法は、DP-SGD実装とは大きく異なる仮定を定めている。
勾配関数の弱サイズパラメータが近づくと、我々の境界は以前に確立された凸境界に収束することを示す。
非Lipschitz および連続損失関数の場合、DP-SGD 実装の数の観点から、より弱い境界を提供する。
- 参考スコア（独自算出の注目度）: 2.532202013576547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private stochastic gradient descent (DP-SGD) refers to a family of optimization algorithms that provide a guaranteed level of differential privacy (DP) through DP accounting techniques. However, current accounting techniques make assumptions that diverge significantly from practical DP-SGD implementations. For example, they may assume the loss function is Lipschitz continuous and convex, sample the batches randomly with replacement, or omit the gradient clipping step. In this work, we analyze the most commonly used variant of DP-SGD, in which we sample batches cyclically with replacement, perform gradient clipping, and only release the last DP-SGD iterate. More specifically - without assuming convexity, smoothness, or Lipschitz continuity of the loss function - we establish new R\'enyi differential privacy (RDP) bounds for the last DP-SGD iterate under the mild assumption that (i) the DP-SGD stepsize is small relative to the topological constants in the loss function, and (ii) the loss function is weakly-convex. Moreover, we show that our bounds converge to previously established convex bounds when the weak-convexity parameter of the objective function approaches zero. In the case of non-Lipschitz smooth loss functions, we provide a weaker bound that scales well in terms of the number of DP-SGD iterations.
- Abstract（参考訳）: DP-SGD(英: Differentially private stochastic gradient descent)とは、DP会計技術を通じて、DP(差分プライバシー)の保証レベルを提供する最適化アルゴリズムの一群を指す。
しかし、現在の会計手法は、実際のDP-SGD実装とは大きく異なる仮定となっている。
例えば、損失関数はリプシッツ連続凸と仮定し、バッチをランダムに置換してサンプリングするか、勾配クリッピングステップを省略する。
本研究はDP-SGDの最もよく使われる変種を解析し, 置換したバッチを周期的にサンプリングし, 勾配クリッピングを行い, 最後のDP-SGDイテレートだけを解放する。
具体的には、損失関数の凸性、滑らか性、リプシッツ連続性を仮定せずに、最後のDP-SGDに対する新たなR'enyi差分プライバシー(RDP)境界を確立する。
i)DP-SGD段差は損失関数の位相定数に対して小さく、
(ii)損失関数は弱凸である。
さらに, 対象関数の弱凸パラメータが0に近づくと, 境界は既定凸境界に収束することを示す。
非Lipschitz の滑らかな損失関数の場合、DP-SGD の反復数でうまくスケールする弱い境界を提供する。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。
ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。
本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T19:06:16Z) - It's Our Loss: No Privacy Amplification for Hidden State DP-SGD With Non-Convex Loss [0.76146285961466]
特定の損失関数に対して、DP-SGDの最終繰り返しは、最終損失関数と同じくらい多くの情報をリークすることを示す。
DP-SGDは一般にすべての(非)損失関数に対してプライバシーの増幅は不可能である。
論文 参考訳（メタデータ） (2024-07-09T01:58:19Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even
for Non-Convex Losses [4.68299658663016]
Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。
最近の研究によると、もし内部の状態が隠されたままなら、プライバシーの喪失は行き詰まる可能性がある。
DP-SGDは,学習過程における個々のサンプルの影響を抑えるために,勾配クリッピングを取り入れたNuisy-SGDの一般的な変種である。
論文 参考訳（メタデータ） (2023-05-17T02:25:56Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。
我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
論文 参考訳（メタデータ） (2022-06-27T01:39:15Z) - Differentially Private Learning Needs Hidden State (Or Much Faster
Convergence) [9.429448411561541]
差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示す。
私たちの収束するプライバシー分析は、差異のあるプライベートな学習が、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示している。
論文 参考訳（メタデータ） (2022-03-10T13:31:08Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z) - Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。
我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
論文 参考訳（メタデータ） (2020-06-12T02:45:21Z) - Online stochastic gradient descent on non-convex losses from
high-dimensional inference [2.2344764434954256]
勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。
本稿では,データから非自明な相関関係を推定する。
本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
論文 参考訳（メタデータ） (2020-03-23T17:34:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。