論文の概要: Stability and Generalization of Nonconvex Optimization with Heavy-Tailed Noise

• arxiv url: http://arxiv.org/abs/2601.19730v1
• Date: Tue, 27 Jan 2026 15:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.379664
• Title: Stability and Generalization of Nonconvex Optimization with Heavy-Tailed Noise
• Title（参考訳）: 重音を用いた非凸最適化の安定性と一般化
• Authors: Hongxu Chen, Ke Wei, Xiaoming Yuan, Luo Luo,
• Abstract要約: 重み付き雑音下で境界を確立するための一般的な枠組みを開発する。 重み付き雑音下でのいくつかの人気アルゴリズムの安定性と一般化解析について述べる。
• 参考スコア（独自算出の注目度）: 24.27538723361077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The empirical evidence indicates that stochastic optimization with heavy-tailed gradient noise is more appropriate to characterize the training of machine learning models than that with standard bounded gradient variance noise. Most existing works on this phenomenon focus on the convergence of optimization errors, while the analysis for generalization bounds under the heavy-tailed gradient noise remains limited. In this paper, we develop a general framework for establishing generalization bounds under heavy-tailed noise. Specifically, we introduce a truncation argument to achieve the generalization error bound based on the algorithmic stability under the assumption of bounded $p$th centered moment with $p\in(1,2]$. Building on this framework, we further provide the stability and generalization analysis for several popular stochastic algorithms under heavy-tailed noise, including clipped and normalized stochastic gradient descent, as well as their mini-batch and momentum variants.
• Abstract（参考訳）: 実験により,重み付き勾配雑音による確率的最適化は,標準境界勾配雑音よりも機械学習モデルの訓練を特徴付けるのに適していることが示された。 この現象に関する既存の研究のほとんどは最適化誤差の収束に焦点をあてているが、重み付き勾配雑音の下での一般化境界の解析は限定的である。 本稿では,重み付き雑音下での一般化境界を確立するための一般的な枠組みを開発する。 具体的には、有界な$p$th中心モーメントと$p\in(1,2]$の仮定の下で、アルゴリズム安定性に基づく一般化誤差の有界化を実現するために、トラルニケート引数を導入する。 この枠組みに基づいて, クリッピングおよび正規化確率勾配勾配, およびミニバッチおよび運動量変動を含む, 重み付き雑音下でのいくつかの一般的な確率的アルゴリズムの安定性と一般化解析を行う。

関連論文リスト

• Accelerated stochastic first-order method for convex optimization under heavy-tailed noise [3.5877352183559386]
  本研究では,重み付き雑音下での次数推定を行う凸関数と,凸関数の和によって目的関数が与えられる凸合成最適化問題について検討する。 我々は,バニラアルゴリズムがクリッピングや正規化などの付加的な変更を伴わずに,これらの問題に対して最適な複雑性を達成できることを実証した。
  論文  参考訳（メタデータ） (2025-10-13T17:45:05Z)
• Nonconvex Decentralized Stochastic Bilevel Optimization under Heavy-Tailed Noises [27.097405340259325]
  既存の分散最適化手法では、低レベル損失関数は強い凸であり、勾配ノイズは有限分散である。 これは、重み付き雑音の下で厳密な理論的保証を持つ最初の分散二レベルアルゴリズムである。
  論文  参考訳（メタデータ） (2025-09-19T02:51:19Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
  本稿では,一階変分法の理論解析のための統一的アプローチを提案する。 提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。 凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
  論文  参考訳（メタデータ） (2023-05-25T11:11:31Z)
• Tradeoffs between convergence rate and noise amplification for momentum-based accelerated optimization algorithms [8.669461942767098]
  モーメントに基づく1次最適化アルゴリズムについて検討し, 繰り返しが付加的な白色雑音を受ける場合について検討した。 強い凸2次問題に対しては、雑音増幅の定量化のために最適化変数における誤差の定常分散を用いる。 雑音増幅と定位時間のバランスをとるアルゴリズムの2つのパラメータ化ファミリを導入する。
  論文  参考訳（メタデータ） (2022-09-24T04:26:30Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。