論文の概要: Differentially Private Clipped-SGD: High-Probability Convergence with Arbitrary Clipping Level

• arxiv url: http://arxiv.org/abs/2507.23512v1
• Date: Thu, 31 Jul 2025 12:48:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:09.80564
• Title: Differentially Private Clipped-SGD: High-Probability Convergence with Arbitrary Clipping Level
• Title（参考訳）: 任意クリップレベルの高確率収束
• Authors: Saleh Vatan Khah, Savelii Chezhegov, Shahrokh Farahmand, Samuel Horváth, Eduard Gorbunov,
• Abstract要約: 本研究では,DPのクリッピングレベルが固定された最初の高確率収束解析法を提案する。 提案手法は,固定クリッピングレベルにおいて,既存の方法よりも高速に近傍最適解に収束することを示す。 この地区は、DPが導入した騒音とバランスが取れており、収束速度とプライバシー保証のトレードオフが洗練されている。
• 参考スコア（独自算出の注目度）: 12.47309834217498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient clipping is a fundamental tool in Deep Learning, improving the high-probability convergence of stochastic first-order methods like SGD, AdaGrad, and Adam under heavy-tailed noise, which is common in training large language models. It is also a crucial component of Differential Privacy (DP) mechanisms. However, existing high-probability convergence analyses typically require the clipping threshold to increase with the number of optimization steps, which is incompatible with standard DP mechanisms like the Gaussian mechanism. In this work, we close this gap by providing the first high-probability convergence analysis for DP-Clipped-SGD with a fixed clipping level, applicable to both convex and non-convex smooth optimization under heavy-tailed noise, characterized by a bounded central $\alpha$-th moment assumption, $\alpha \in (1,2]$. Our results show that, with a fixed clipping level, the method converges to a neighborhood of the optimal solution with a faster rate than the existing ones. The neighborhood can be balanced against the noise introduced by DP, providing a refined trade-off between convergence speed and privacy guarantees.
• Abstract（参考訳）: グラディエントクリッピングはディープラーニングの基本的なツールであり、SGD、AdaGrad、Adamといった確率的一階法の高確率収束を改善する。 また、差分プライバシー(DP)機構の重要な構成要素でもある。 しかし、既存の高確率収束解析では、ガウス機構のような標準のDP機構とは相容れない最適化ステップの数でクリッピングしきい値が増加するのが普通である。 本研究では,DP-Clipped-SGD に対して,重み付き雑音下での凸および非凸スムーズな最適化に適用可能な,固定クリッピングレベルの最初の高確率収束解析を提供することにより,このギャップを埋める。 提案手法は, 固定クリッピングレベルにおいて, 最適解の近傍に収束し, 既存のものよりも高速であることを示す。 この地区は、DPが導入した騒音に対してバランスをとることができ、収束速度とプライバシ保証の間の洗練されたトレードオフを提供する。

関連論文リスト

• Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise [60.17850744118546]
  Clip-SGDのようなクリッピングを持つ一階法は、$(L_$1)$-smoothnessの仮定の下でSGDよりも強い収束保証を示す。 Clip-SGD の高確率収束バウンダリを凸 $(L_$1)$-smooth の重み付き雑音による最適化に適用した最初の高確率収束バウンダリを確立する。
  論文  参考訳（メタデータ） (2025-05-27T07:23:42Z)
• Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy [11.356444450240799]
  既存のアルゴリズムは、強い微分プライバシー(DP)と最適化の保証を一度に達成しない。 クリッピング,重球運動量,誤差フィードバックを組み合わせたClip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2025-02-17T11:16:21Z)
• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• From Gradient Clipping to Normalization for Heavy Tailed SGD [19.369399536643773]
  最近の実証的な証拠は、機械学習の応用が重尾ノイズを伴い、実際に有界分散の標準的な仮定に挑戦していることを示している。 本稿では, 勾配依存型雑音収束問題において, テール雑音下での厳密性を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:01Z)
• Noise is All You Need: Private Second-Order Convergence of Noisy SGD [15.31952197599396]
  プライバシーのために必要となるノイズは、標準の滑らか性仮定の下で既に二階収束を示唆していることが示される。 DP-SGDは、最小限の仮定の下で、二階定常点を見つけるために使用できる。
  論文  参考訳（メタデータ） (2024-10-09T13:43:17Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。