論文の概要: Weak-$L^α$ Noise, Strong Guarantees: Gradient Clipping under Affine Heavy Tails

• arxiv url: http://arxiv.org/abs/2610.28107v1
• Date: Tue, 20 Oct 2026 12:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.802893
• Title: Weak-$L^α$ Noise, Strong Guarantees: Gradient Clipping under Affine Heavy Tails
• Title（参考訳）: 弱-L^α$騒音, 強い保証者:アフィン重機によるグラディエントクライッピング
• Abstract要約: アフィン重み付き雑音下での滑らかな凸最適化について考察する。 クリッピングされたSGDとその加速変種Clip-SSTMに対する高確率収束保証を導出する。 また,Clip-SGDを所定のクリッピングレベルで解析し,クリッピングバイアスによって決定された近傍に到達するための有限水平保証を導出する。
• 参考スコア（独自算出の注目度）: 43.48814620391119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient clipping is a key tool for obtaining high-probability convergence guarantees for stochastic first-order methods under heavy-tailed noise. Existing analyses typically assume a bounded central moment of order $α\in(1,2]$, which excludes distributions with tails of order $u^{-α}$ at the critical exponent. In this paper, we consider smooth convex optimization under affine heavy-tailed noise, whose scale may grow with the gradient norm. We derive high-probability convergence guarantees for clipped SGD (Clip-SGD) and its accelerated variant Clip-SSTM under a weak-$L^α$ tail condition, which is strictly weaker than the corresponding moment bound. For $1<α<2$, the clipping bounds have the same powers of the clipping level as in the moment case, and both methods attain the additive stochastic rate $K^{-(α-1)/α}$. The gradient-dependent noise contributes a faster-decaying term of order $K^{-2(α-1)/α}$, up to logarithmic factors. At $α=2$, we characterize the additional logarithmic factor on the Lorentz scale and establish its necessity for the additive error at fixed confidence. We also analyze Clip-SGD with prescribed clipping levels and derive finite-horizon guarantees for reaching a neighborhood determined by the clipping bias. For additive noise, matching lower bounds show that this neighborhood is unavoidable, up to constants and the natural error cap. Numerical experiments with Pareto noise illustrate the theoretical results.
• Abstract（参考訳）: 重み付き雑音下での確率的一階法における高確率収束保証を得るためには、グラディエントクリッピングが鍵となるツールである。 既存の解析は通常、位数 $α\in(1,2]$ の有界中心モーメントを仮定するが、これは臨界指数において位数 $u^{-α}$ の尾を持つ分布を除外する。 本稿では,アフィン重み付き雑音下での滑らかな凸最適化について考察する。 我々は、カットされたSGD(Clip-SGD)とその加速された変種Clip-SSTMに対して、対応するモーメント境界よりも厳密なL^α$テール条件の下で高確率収束保証を導出する。 1<α<2$の場合、クリッピング境界はモーメントの場合と同様にクリッピングレベルと同じ力を持ち、どちらの手法も加法確率率$K^{-(α-1)/α}$に達する。 勾配依存ノイズは、対数因子まで、次数$K^{-2(α-1)/α}$の高速分解項に寄与する。 α=2$で、ローレンツスケールの付加対数係数を特徴づけ、固定された信頼度において加法誤差の必要性を確立する。 また,Clip-SGDを所定のクリッピングレベルで解析し,クリッピングバイアスによって決定された近傍に到達するための有限水平保証を導出する。 加法雑音について、下界のマッチングは、この近傍が避けられないことを示し、定数と自然誤差上限が与えられる。 パレートノイズによる数値実験は理論的結果を示している。

関連論文リスト

• Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
  グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。 有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。 我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
  論文  参考訳（メタデータ） (2026-09-26T21:47:14Z)
• Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise and Hölder Smoothness [0.0]
  我々は勾配クリッピング(G-Clip)を分析し、上述のレートをge1+s$で回収する一方、非常に重く細い体制では1+s$で回収することを示した。
  論文  参考訳（メタデータ） (2026-09-11T12:40:43Z)
• Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise [65.40001744848615]
  Clip-SGDのようなクリッピングを持つ一階法は、$(L_$1)$-smoothnessの仮定の下でSGDよりも強い収束保証を示す。 Clip-SGD の高確率収束バウンダリを凸 $(L_$1)$-smooth の重み付き雑音による最適化に適用した最初の高確率収束バウンダリを確立する。
  論文  参考訳（メタデータ） (2025-05-27T07:23:42Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。