論文の概要: Dimension Independent Generalization of DP-SGD for Overparameterized Smooth Convex Optimization

• arxiv url: http://arxiv.org/abs/2206.01836v1
• Date: Fri, 3 Jun 2022 22:03:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 17:37:54.536694
• Title: Dimension Independent Generalization of DP-SGD for Overparameterized Smooth Convex Optimization
• Title（参考訳）: 過パラメータスムース凸最適化のためのdp-sgdの次元独立一般化
• Authors: Yi-An Ma, Teodor Vanislavov Marinov, Tong Zhang
• Abstract要約: 本稿では,差分プライベート凸学習の一般化性能について考察する。 本稿では,Langevinアルゴリズムの収束解析を用いて,DP-SGDの差分プライバシー保証を伴う新たな一般化境界を求めることを実証する。
• 参考スコア（独自算出の注目度）: 24.644583626705742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers the generalization performance of differentially private convex learning. We demonstrate that the convergence analysis of Langevin algorithms can be used to obtain new generalization bounds with differential privacy guarantees for DP-SGD. More specifically, by using some recently obtained dimension-independent convergence results for stochastic Langevin algorithms with convex objective functions, we obtain $O(n^{-1/4})$ privacy guarantees for DP-SGD with the optimal excess generalization error of $\tilde{O}(n^{-1/2})$ for certain classes of overparameterized smooth convex optimization problems. This improves previous DP-SGD results for such problems that contain explicit dimension dependencies, so that the resulting generalization bounds become unsuitable for overparameterized models used in practical applications.
• Abstract（参考訳）: 本稿では,差分プライベート凸学習の一般化性能について考察する。 本稿では,Langevinアルゴリズムの収束解析を用いて,DP-SGDの差分プライバシー保証を伴う新たな一般化境界を得ることを示す。 より具体的には、最近得られた凸目的関数を持つ確率的ランジュバンアルゴリズムの次元独立収束結果を用いて、超パラメータの滑らかな凸最適化問題のあるクラスに対して、最適な超一般化誤差である$\tilde{o}(n^{-1/2})$のdp-sgdに対するプライバシ保証を得る。 これにより、明示的な次元依存を含むような問題に対する以前のDP-SGD結果を改善することができ、その結果の一般化境界は実用用途で使用される過度パラメータ化モデルには適さない。

関連論文リスト

• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
  我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。 我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
  論文  参考訳（メタデータ） (2022-06-27T01:39:15Z)
• Differential Privacy Guarantees for Stochastic Gradient Langevin Dynamics [2.9477900773805032]
  定常的なステップサイズで、スムーズかつ強凸な目標に対して、プライバシー損失は指数関数的に速く収束することを示す。 本稿では,従来のDP-SGDライブラリと比較して,本手法の実用性を示す実装を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:21:31Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。