論文の概要: In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
- arxiv url: http://arxiv.org/abs/2606.00520v1
- Date: Sat, 30 May 2026 04:27:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.508436
- Title: In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
- Title（参考訳）: 重音下での確率勾配法のインエクスプロメーション収束
- Abstract要約: 多くの方法は、勾配のノイズが有限$p$-秒のモーメントしか持たないときに収束しないと考えられている。
勾配 Descent (textSG$) は、有界領域との凸問題への期待に驚くほど収束する。
- 参考スコア（独自算出の注目度）: 3.8357180714081327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many stochastic gradient methods are believed not to converge when the noise in stochastic gradients has only a finite $p$-th moment for $p\in\left(1,2\right)$, a setting known as the heavy-tailed noise assumption. However, some recent studies have found that Stochastic Gradient Descent ($\textsf{SGD}$), without any modification to its update rule, can surprisingly converge in expectation for convex problems with bounded domains, highlighting the potential of classical stochastic gradient methods. Inspired by this recent progress, we provide a comprehensive study of stochastic optimization under heavy-tailed noise and establish new in-expectation convergence results for Stochastic Mirror Descent ($\textsf{SMD}$) and Accelerated Stochastic Mirror Descent ($\textsf{ASMD}$) in convex optimization, and for $\textsf{SGD}$ and Stochastic Gradient Descent with Momentum ($\textsf{SGDM}$) in nonconvex optimization. Notably, our results not only hold without algorithmic changes but also avoid restrictive assumptions, such as bounded domains, imposed in prior work. More importantly, our analysis provides a new, elegant, and powerful framework for studying heavy-tailed stochastic optimization, opening a new route to understanding first-order stochastic gradient methods.
- Abstract（参考訳）: 多くの確率勾配法は、確率勾配の雑音が$p\in\left(1,2\right)$に対して有限$p$-thのモーメントしか持たない場合は収束しないと考えられている。
しかし、最近の研究では、その更新規則を変更することなく、古典的確率勾配法の可能性を強調して、有界領域との凸問題への期待を驚くほど収束させることができることが示されている。
この最近の進歩に触発されて、我々は重み付き雑音下での確率的最適化の包括的研究を行い、凸最適化における確率的ミラー Descent$\textsf{SMD}$) と加速度的確率的ミラー Descent$\textsf{ASMD}$) と非凸最適化における確率的グラディエント Descent with Momentum$\textsf{SGDM}$) に対する新しい不変収束結果を確立する。
特に、我々の結果はアルゴリズム的な変化がなければ成り立たないだけでなく、事前の作業で課された有界領域のような制限的な仮定も避ける。
さらに、我々の分析は、重み付き確率最適化を研究するための新しい、エレガントで強力なフレームワークを提供し、一階確率勾配法を理解するための新しいルートを開く。
関連論文リスト
- The Role of Gradient Modification in Heavy-Tailed Nonconvex Stochastic Min-Max Optimization [50.59470683896735]
min-max最適化は、現代の機械学習に応用されているため、注目を集めている。
我々は、勾配降下(SGDA)の包括的理論を提供する。
我々は,Stoc-GDAMとStoc-TRmaxという新たなクリッピングフリーアルゴリズムを開発し,グラディエントクリッピングを使わずに,目標精度への最適依存を実現する。
論文 参考訳（メタデータ） (2026-09-05T12:49:28Z) - Towards Continuous-Time Approximations for Stochastic Gradient Descent without Replacement [1.7767466724342065]
置換のない降下(SGDo)に基づくエポック(epochs)を用いた勾配最適化アルゴリズムは、主に機械学習モデルを実際にトレーニングするために使用される。
我々は「急激なブラウン運動」と呼ばれるプロセスによって駆動されるヤング微分方程式に基づく加法雑音を伴うSGDoの連続時間近似を提案する。
強凸対象に対する連続時間近似のほぼ確実に収束と、(0,1)$で$u_t = frac1(+t)の学習速度スケジュールを証明することによって、その有用性を示す。
論文 参考訳（メタデータ） (2025-12-04T11:52:20Z) - Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping [21.865728815935665]
重み付き雑音下での最初の収束を提供するが、切断はしない。
また、テールインデックス$mathfrakp$が事前に不明な場合には、最初の$mathcalO(Tfrac1-mathfrakp3mathfrakp-2)$収束率も設定する。
論文 参考訳（メタデータ） (2024-12-27T08:46:46Z) - Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。
特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
論文 参考訳（メタデータ） (2024-09-23T13:11:37Z) - Stochastic Nonsmooth Convex Optimization with Heavy-Tailed Noises:
High-Probability Bound, In-Expectation Rate and Initial Distance Adaptation [22.758674468435302]
重尾雑音系では、勾配と真の速度の差は有限の$p-thモーメントを持つと仮定される。
本稿では,重み付き雑音を用いた非平滑凸最適化の包括的解析を行う。
論文 参考訳（メタデータ） (2023-03-22T03:05:28Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Stochastic optimization with momentum: convergence, fluctuations, and
traps avoidance [0.0]
本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。
この回避は、非自明な常微分方程式のノイズ離散化として研究される。
論文 参考訳（メタデータ） (2020-12-07T19:14:49Z) - Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient
Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。
この場合、最先端の結果を上回る新たな複雑さが証明される。
本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文 参考訳（メタデータ） (2020-05-21T17:05:27Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。