論文の概要: Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization

• arxiv url: http://arxiv.org/abs/2607.08104v1
• Date: Thu, 09 Jul 2026 04:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.413449
• Title: Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization
• Title（参考訳）: 重音を持続するバニラSGD:緩やかなクリップや正規化を伴わない収束解析
• Authors: Ryusei Yamada, Naoki Sato, Hideaki Iiduka,
• Abstract要約: 我々は、バニラ勾配SGDは、特に運動量で、重み付き雑音の中でどのように機能するかを調査する。 本結果は,SGDのクリッピングあるいは正規化により達成される最適速度よりも収束率が劣っていることを示す。
• 参考スコア（独自算出の注目度）: 9.711326718689493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic gradient descent (SGD) is a cornerstone of modern optimization. While its performance under heavy-tailed noise is often addressed through specialized modifications such as gradient clipping or normalization, we investigate a more fundamental question: how does vanilla SGD, particularly with momentum, perform in the presence of heavy-tailed noise? In this paper, we refine existing convergence results for vanilla SGD and, more importantly, provide the first comprehensive convergence analysis of vanilla SGD with momentum for strongly convex, convex, and nonconvex objectives, without employing any gradient control mechanisms. Our results demonstrate that the obtained convergence rates are inferior to the optimal rates achieved by clipped or normalized variants of SGD, thereby revealing inherent limitations of vanilla methods under heavy-tailed noise. The theoretical findings are supported by experiments on synthetic functions.
• Abstract（参考訳）: 確率勾配降下(SGD)は現代最適化の基盤となっている。 バニラSGDは、特に運動量のある場合、重音の存在下ではどのように機能するかという、より根本的な問題について検討する。 本稿では,バニラSGDに対する既存の収束結果を精査し,より重要なことは,バニラSGDに対して,勾配制御機構を使わずに,凸,凸,非凸の運動量を持つ最初の総合収束解析を行うことである。 その結果, 得られた収束速度は, SGDの切断あるいは正規化された変種によって達成される最適速度よりも劣っていることが明らかとなり, 重尾雑音下でのバニラ法固有の限界が明らかとなった。 理論的な発見は合成機能の実験によって裏付けられている。

関連論文リスト

• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
  重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。 解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
  論文  参考訳（メタデータ） (2023-10-28T18:53:41Z)
• Noisy Truncated SGD: Optimization and Generalization [27.33458360279836]
  近年のsgdに関する実証研究により、エポックのほとんどの勾配成分は極めて小さいことが示されている。 このような研究に触発され、雑音SGD(NT-SGD)の特性を厳格に研究する。 我々は,NT-SGDがサドルポイントから確実に脱出でき,従来と比べノイズの少ないことを証明した。
  論文  参考訳（メタデータ） (2021-02-26T22:39:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。