論文の概要: Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses
- arxiv url: http://arxiv.org/abs/2407.05237v2
- Date: Tue, 5 Nov 2024 15:00:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 23:24:33.935705
- Title: Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses
- Title（参考訳）: 非凸複合損失に対する周期サンプリングDP-SGDにおける最終イテレーションのプライバシー
- Authors: Weiwei Kong, Mónica Ribero,
- Abstract要約: 微分プライベート勾配(DP-SGD)は、微分プライベートモデルパラメータの列を生成するために反復する反復機械学習アルゴリズムのファミリーである。
最終段階の会計は困難であり、既存の作業はほとんどの実装で満たされていない強い仮定を必要とする。
損失関数の小さなステップサイズとリプシッツ滑らかさの現実的な仮定の下で、最後のイテレーションに対して新しいRenyi差分プライバシー(R)上限を提供する。
- 参考スコア（独自算出の注目度）: 2.532202013576547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially-private stochastic gradient descent (DP-SGD) is a family of iterative machine learning training algorithms that privatize gradients to generate a sequence of differentially-private (DP) model parameters. It is also the standard tool used to train DP models in practice, even though most users are only interested in protecting the privacy of the final model. Tight DP accounting for the last iterate would minimize the amount of noise required while maintaining the same privacy guarantee and potentially increasing model utility. However, last-iterate accounting is challenging, and existing works require strong assumptions not satisfied by most implementations. These include assuming (i) the global sensitivity constant is known - to avoid gradient clipping; (ii) the loss function is Lipschitz or convex; and (iii) input batches are sampled randomly. In this work, we forego any unrealistic assumptions and provide privacy bounds for the most commonly used variant of DP-SGD, in which data is traversed cyclically, gradients are clipped, and only the last model is released. More specifically, we establish new Renyi differential privacy (RDP) upper bounds for the last iterate under realistic assumptions of small stepsize and Lipschitz smoothness of the loss function. Our general bounds also recover the special-case convex bounds when the weak-convexity parameter of the objective function approaches zero and no clipping is performed. The approach itself leverages optimal transport techniques for last iterate bounds, which is a nontrivial task when the data is traversed cyclically and the loss function is nonconvex.
- Abstract（参考訳）: 微分プライベート確率勾配降下(DP-SGD)は、微分プライベートモデルパラメータを生成するために勾配をプライベート化する反復機械学習訓練アルゴリズムのファミリーである。
また、ほとんどのユーザが最終モデルのプライバシ保護に関心を持っているにもかかわらず、実際にDPモデルのトレーニングに使用される標準ツールでもある。
DPが最後に繰り返すと、同じプライバシー保証と潜在的にモデルユーティリティを維持しながら、必要なノイズの量を最小化する。
しかし、最終段階の会計は困難であり、既存の作業はほとんどの実装で満たされていない強い仮定を必要とする。
これらには仮定が含まれる。
i) 勾配クリッピングを避けるため,グローバル感度定数が知られている。
(ii)損失関数は、リプシッツまたは凸である。
(iii)入力バッチをランダムにサンプリングする。
本研究では、非現実的な仮定を予見し、DP-SGDの最も一般的に使われている変種に対してプライバシー境界を提供する。
より具体的には、損失関数の小さなステップサイズとリプシッツ滑らかさの現実的な仮定の下で、最後のイテレーションに対する新しいRenyi差分プライバシー(RDP)上限を確立する。
対象関数の弱凸パラメータがゼロに近づき、クリッピングを行わない場合、我々の一般境界は特別ケース凸境界を回復する。
このアプローチ自体は、データが周期的に横断され、損失関数が非凸である場合に、非自明なタスクである最後の繰り返し境界に対する最適な輸送技術を利用する。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。
ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。
本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T19:06:16Z) - It's Our Loss: No Privacy Amplification for Hidden State DP-SGD With Non-Convex Loss [0.76146285961466]
特定の損失関数に対して、DP-SGDの最終繰り返しは、最終損失関数と同じくらい多くの情報をリークすることを示す。
DP-SGDは一般にすべての(非)損失関数に対してプライバシーの増幅は不可能である。
論文 参考訳（メタデータ） (2024-07-09T01:58:19Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even
for Non-Convex Losses [4.68299658663016]
Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。
最近の研究によると、もし内部の状態が隠されたままなら、プライバシーの喪失は行き詰まる可能性がある。
DP-SGDは,学習過程における個々のサンプルの影響を抑えるために,勾配クリッピングを取り入れたNuisy-SGDの一般的な変種である。
論文 参考訳（メタデータ） (2023-05-17T02:25:56Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。
我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
論文 参考訳（メタデータ） (2022-06-27T01:39:15Z) - Differentially Private Learning Needs Hidden State (Or Much Faster
Convergence) [9.429448411561541]
差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示す。
私たちの収束するプライバシー分析は、差異のあるプライベートな学習が、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示している。
論文 参考訳（メタデータ） (2022-03-10T13:31:08Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z) - Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。
我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
論文 参考訳（メタデータ） (2020-06-12T02:45:21Z) - Online stochastic gradient descent on non-convex losses from
high-dimensional inference [2.2344764434954256]
勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。
本稿では,データから非自明な相関関係を推定する。
本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
論文 参考訳（メタデータ） (2020-03-23T17:34:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。