論文の概要: Almost Sure Convergence Analysis of Differentially Private Stochastic Gradient Methods

• arxiv url: http://arxiv.org/abs/2511.16587v1
• Date: Thu, 20 Nov 2025 17:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.766002
• Title: Almost Sure Convergence Analysis of Differentially Private Stochastic Gradient Methods
• Title（参考訳）: 微分プライベート確率勾配法のほぼ確実に収束解析
• Authors: Amartya Mukherjee, Jun Liu,
• Abstract要約: 微分厳格勾配勾配(DP-SGD)は、プライバシ保証付き機械学習モデルの標準アルゴリズムとなっている。 収束が広く期待されているにもかかわらず、このアルゴリズムは両凸な非賢明な状態のままであることを示す。
• 参考スコア（独自算出の注目度）: 7.061954653503474
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Differentially private stochastic gradient descent (DP-SGD) has become the standard algorithm for training machine learning models with rigorous privacy guarantees. Despite its widespread use, the theoretical understanding of its long-run behavior remains limited: existing analyses typically establish convergence in expectation or with high probability, but do not address the almost sure convergence of single trajectories. In this work, we prove that DP-SGD converges almost surely under standard smoothness assumptions, both in nonconvex and strongly convex settings, provided the step sizes satisfy some standard decaying conditions. Our analysis extends to momentum variants such as the stochastic heavy ball (DP-SHB) and Nesterov's accelerated gradient (DP-NAG), where we show that careful energy constructions yield similar guarantees. These results provide stronger theoretical foundations for differentially private optimization and suggest that, despite privacy-induced distortions, the algorithm remains pathwise stable in both convex and nonconvex regimes.
• Abstract（参考訳）: 微分プライベート確率勾配勾配(DP-SGD)は、厳格なプライバシー保証を持つ機械学習モデルをトレーニングするための標準アルゴリズムとなっている。 既存の分析は通常、期待あるいは高い確率で収束を確立するが、単一の軌道のほぼ確実な収束には対処しない。 本研究では, DP-SGDが非凸条件と強凸条件の両方において, 標準の滑らか性仮定の下でほぼ確実に収束することが証明された。 解析は, 確率重球 (DP-SHB) やネステロフ加速勾配 (DP-NAG) などの運動量変化にも及んでいる。 これらの結果は、微分プライベート最適化のためのより強力な理論的基盤を提供し、プライバシーによる歪みにもかかわらず、このアルゴリズムは凸法と非凸法の両方において経路的に安定していることを示唆している。

関連論文リスト

• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence [25.717501580080846]
  本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。 トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T17:56:49Z)
• Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
  我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。 我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
  論文  参考訳（メタデータ） (2022-06-27T01:39:15Z)
• Differential Privacy Guarantees for Stochastic Gradient Langevin Dynamics [2.9477900773805032]
  定常的なステップサイズで、スムーズかつ強凸な目標に対して、プライバシー損失は指数関数的に速く収束することを示す。 本稿では,従来のDP-SGDライブラリと比較して,本手法の実用性を示す実装を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:21:31Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• A High Probability Analysis of Adaptive SGD with Momentum [22.9530287983179]
  Gradient Descent(DSG)とその変種は、機械学習アプリケーションで最も使われているアルゴリズムである。 モーメントを持つdelayedGrad の滑らかな非設定において、勾配が 0 になる確率を初めて示す。
  論文  参考訳（メタデータ） (2020-07-28T15:06:22Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)
• Convergence rates and approximation results for SGD and its continuous-time counterpart [16.70533901524849]
  本稿では,非増加ステップサイズを有する凸勾配Descent (SGD) の完全理論的解析を提案する。 まず、結合を用いた不均一微分方程式(SDE)の解により、SGDを確実に近似できることを示す。 連続的手法による決定論的および最適化手法の最近の分析において, 連続過程の長期的挙動と非漸近的境界について検討する。
  論文  参考訳（メタデータ） (2020-04-08T18:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。