Fugu-MT 論文翻訳(概要): High-Probability Guarantees for SGD under $β$-Heavy-Tailed Gradient Noise

論文の概要: High-Probability Guarantees for SGD under $β$-Heavy-Tailed Gradient Noise

arxiv url: http://arxiv.org/abs/2609.32195v1
Date: Sat, 26 Sep 2026 03:44:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-07 19:02:18.8831
Title: High-Probability Guarantees for SGD under $β$-Heavy-Tailed Gradient Noise
Title（参考訳）: β$重み付きグラディエント雑音下でのSGDの高確率保証
Abstract要約: サブサンプリングは、機械学習モデルにノイズ減衰を導入する。したがって、高確率の強度と適用性は、ガウス下雑音のモデル化方法に大きく依存する。我々はOrlicz空間のヤング関数を用いて、共通のフレームワークでノイズテールを記述する。
参考スコア（独自算出の注目度）: 5.243096866232096
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Stochastic gradient descent (SGD) is widely used to train machine learning models, but subsampling the training data introduces noise into its updates. The strength and applicability of high-probability guarantees therefore depend critically on how the tails of gradient noise are modeled. Reports of heavy-tailed gradient noise in deep learning motivate relaxing the bounded-noise and sub-Gaussian assumptions commonly used in high-probability analyses of SGD. We use Young functions from Orlicz space theory to describe noise tails in a common framework. We model SGD gradient noise by adopting a Young function that preserves the finiteness of all polynomial moments while allowing tails heavier than sub-Weibull, including lognormal distributions. The resulting class is called $β$-heavy-tailed, with $β$ controlling the tail heaviness. We establish concentration inequalities for $β$-heavy-tailed noise and combine them with a uniform bound on the difference between empirical and population gradients along the SGD trajectory to obtain high-probability bounds on optimization and population-risk stationarity for smooth nonconvex losses under trajectory assumptions. The bounds are not restricted to a particular learning-rate decay rule and make explicit the effects of noise tails and learning-rate schedules. Under the Polyak-Łojasiewicz condition, we bound the risk at the last iterate. We also analyze SGD with gradient clipping under the $β$-heavy-tailed noise model.
Abstract（参考訳）: 確率勾配降下(SGD)は機械学習モデルのトレーニングに広く使用されているが、トレーニングデータのサブサンプリングは、その更新にノイズをもたらす。したがって、高確率の強度と適用性は、勾配雑音のテールがどのようにモデル化されているかに大きく依存する。 SGDの高確率解析によく用いられる有界雑音と準ガウス仮定を緩和する深層学習における重尾勾配雑音の報告我々は、オルリッツ空間論のヤング関数を用いて、共通の枠組みでノイズテールを記述する。我々は,全多項式モーメントの有限性を保ちながら,対数正規分布を含む準ワイブルよりも重みを許容するヤング関数を用いて,SGD勾配雑音をモデル化する。結果として得られるクラスは$β$-heavy-tailedと呼ばれ、$β$は尾の重みを制御する。そこで我々は,SGD軌道に沿った経験的勾配と人口勾配の差に基づく一様境界にβ$-heavy-tailedノイズの濃度不等式を確立し,軌道的仮定の下での滑らかな非凸損失に対する最適化と集団リスク安定化の高確率境界を求める。境界は特定の学習速度減衰規則に制限されず、ノイズテールと学習速度スケジュールの影響を明確にする。ポリアック・ジョジャシエヴィチ条件の下では、最後の反復でリスクを負う。また,β$-heavy-tailed noise modelの下で,勾配クリッピングによるSGDの解析を行った。

論文の概要: High-Probability Guarantees for SGD under $β$-Heavy-Tailed Gradient Noise

関連論文リスト