論文の概要: Exact Tail Laws for Nonlinear SGD with Infinite-Variance Gradients

• arxiv url: http://arxiv.org/abs/2610.23750v1
• Date: Fri, 16 Oct 2026 16:55:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.029148
• Title: Exact Tail Laws for Nonlinear SGD with Infinite-Variance Gradients
• Title（参考訳）: 無限変数勾配を持つ非線形SGDの厳密テール法則
• Abstract要約: 我々はSGDの精度を1次尾の正確な確率で特徴づける。 我々は、その相対的精度を中央スケール以上の許容度を縮めることに証明する。 1次元から100次元の結合シミュレーションでは、相対的なキャリブレーション、客観的な量子化、バッチ効果、ランダムな曲率による誤差を検証している。
• 参考スコア（独自算出の注目度）: 4.78917566112779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With infinite-variance gradient noise, SGD can have infinite expected excess objective even when most iterates are close to the optimum. We characterize its accuracy through exact first-order tail probabilities for the last iterate of nonlinear, constant-stepsize SGD. For regularly varying innovations of index $t\in(1,2)$, the leading measure transports one large gradient shock through the local Hessian flow. This is the same measure that governs the central stable Ornstein--Uhlenbeck limit; we prove its relative accuracy at shrinking tolerances above the central scale, with state-dependent noise and a growing observation horizon. The admissible window is nonempty for every available gradient moment $p>1$. The main technical step is a moment bound at the central fluctuation scale and a lower-moment control of the nonlinear error. The result yields explicit projection and excess-objective tails, extreme quantiles, and a factor $b^{1-t}$ for fixed batch size $b$. For affine population gradients, a sharper comparison gives the same law at fixed tolerances, including random sample Hessians. Coupled simulations in dimensions one to one hundred examine relative calibration, objective quantiles, batch effects, and the error due to random curvature.
• Abstract（参考訳）: 無限分散勾配雑音では、SGDは、ほとんどの反復が最適値に近くても、無限に過剰な目標を持つことができる。 非線形, 定数ステップサイズのSGDの最後の繰り返しに対して, その精度を正確に1次テール確率で特徴付ける。 指数 $t\in(1,2)$ の定期的に変化する革新に対して、主測度は局所ヘッセン流を通して1つの大きな勾配ショックを伝達する。 これは、中央の安定なオルンシュタイン-ウレンベック限界を統治するのと同じ尺度であり、その相対的精度は、中央のスケールより上の許容度を小さくし、状態依存ノイズと観測地平線を増大させることで証明する。 許容可能なウィンドウは、利用可能なすべての勾配モーメント$p>1$に対して空でない。 主な技術的ステップは、中央変動スケールで束縛されたモーメントであり、非線形誤差の低モーメント制御である。 その結果、明示的な射影と過剰な対象の尾、極端な量子化、および固定バッチサイズ$b$に対する係数$b^{1-t}$が得られる。 アフィン集団勾配について、よりシャープな比較は、ランダムサンプルのヘッセンを含む固定許容度において同じ法則を与える。 1次元から100次元の結合シミュレーションでは、相対的なキャリブレーション、客観的な量子化、バッチ効果、ランダムな曲率による誤差を検証している。

関連論文リスト

• Learning Decision-Stump Thresholds in Context: Dynamics of Softmax Attention [10.960057599060562]
  決定しきい値を推定するには、未知の境界付近で観測を行う必要がある。 勾配に基づく事前学習は2パラメータのソフトマックスアテンションモデルでこの統計則を学習することを示す。 また, 片頭部モデルの境界限界を同定し, 反射対称性を統計的に説明する。
  論文  参考訳（メタデータ） (2026-10-05T09:00:28Z)
• Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
  グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。 有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。 我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
  論文  参考訳（メタデータ） (2026-09-26T21:47:14Z)
• Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds [1.6582968942719265]
  一様雑音-モーメンタリティ境界は、距離によって変動が増加する勾配を除外する。 直接降下すると、スムーズな転位引数が3エプシロン6$を回復する。 局所化半径は、非レート仮定、クリッピング正規化、運動量、バッチサイズの増加といった境界から導かれる。
  論文  参考訳（メタデータ） (2026-09-24T19:37:07Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds [9.739744677824286]
  定段近似(SA)は計算効率の学習に広く用いられている。 以前の研究は、段数 $downarrow 0$ のとき中心とスケールの定常状態がガウス確率ベクトルに弱収束することを示していた。 この論文は、固定された$に対して明示的で漸近的でないエラー境界を提供する。
  論文  参考訳（メタデータ） (2026-02-15T02:34:50Z)
• Large Deviation Upper Bounds and Improved MSE Rates of Nonlinear SGD: Heavy-tailed Noise and Power of Symmetry [47.653744900375855]
  重み付き雑音の存在下での最適凸勾配法の枠組みを提供する。 ステップサイズ・テールの非線形性,ノイズ,問題パラメータの選択に明示的に依存することを示す。 MSE $widetmathcalO(t-1)$ を最適な $mathcalO(t-1)$ に近づけることができる。
  論文  参考訳（メタデータ） (2024-10-21T04:50:57Z)
• High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
  重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。 解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
  論文  参考訳（メタデータ） (2023-10-28T18:53:41Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。