Fugu-MT 論文翻訳(概要): Clipped Gradient Methods for Nonsmooth Convex Optimization under Heavy-Tailed Noise: A Refined Analysis

論文の概要: Clipped Gradient Methods for Nonsmooth Convex Optimization under Heavy-Tailed Noise: A Refined Analysis

arxiv url: http://arxiv.org/abs/2512.23178v1
Date: Mon, 29 Dec 2025 03:35:53 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-30 22:37:30.396664
Title: Clipped Gradient Methods for Nonsmooth Convex Optimization under Heavy-Tailed Noise: A Refined Analysis
Title（参考訳）: 重音下における非平滑凸最適化のためのクラッピング勾配法:精製解析
Authors: Zijian Liu,
Abstract要約: 単純だが効果的な操作である勾配クリッピングは、この新しい課題をうまく処理することが知られている。我々の研究は2つの面で既存のアプローチを改善している: 重尾雑音下でのクリップ誤りに対するフリードマンの不等式とより微細な境界のより良い利用である。この研究を補完するために、我々は高確率と非観測収束の両方のための新しい下界を確立する。
参考スコア（独自算出の注目度）: 3.8357180714081327
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Optimization under heavy-tailed noise has become popular recently, since it better fits many modern machine learning tasks, as captured by empirical observations. Concretely, instead of a finite second moment on gradient noise, a bounded ${\frak p}$-th moment where ${\frak p}\in(1,2]$ has been recognized to be more realistic (say being upper bounded by $σ_{\frak l}^{\frak p}$ for some $σ_{\frak l}\ge0$). A simple yet effective operation, gradient clipping, is known to handle this new challenge successfully. Specifically, Clipped Stochastic Gradient Descent (Clipped SGD) guarantees a high-probability rate ${\cal O}(σ_{\frak l}\ln(1/δ)T^{1/{\frak p}-1})$ (resp. ${\cal O}(σ_{\frak l}^2\ln^2(1/δ)T^{2/{\frak p}-2})$) for nonsmooth convex (resp. strongly convex) problems, where $δ\in(0,1]$ is the failure probability and $T\in\mathbb{N}$ is the time horizon. In this work, we provide a refined analysis for Clipped SGD and offer two faster rates, ${\cal O}(σ_{\frak l}d_{\rm eff}^{-1/2{\frak p}}\ln^{1-1/{\frak p}}(1/δ)T^{1/{\frak p}-1})$ and ${\cal O}(σ_{\frak l}^2d_{\rm eff}^{-1/{\frak p}}\ln^{2-2/{\frak p}}(1/δ)T^{2/{\frak p}-2})$, than the aforementioned best results, where $d_{\rm eff}\ge1$ is a quantity we call the $\textit{generalized effective dimension}$. Our analysis improves upon the existing approach on two sides: better utilization of Freedman's inequality and finer bounds for clipping error under heavy-tailed noise. In addition, we extend the refined analysis to convergence in expectation and obtain new rates that break the known lower bounds. Lastly, to complement the study, we establish new lower bounds for both high-probability and in-expectation convergence. Notably, the in-expectation lower bounds match our new upper bounds, indicating the optimality of our refined analysis for convergence in expectation.
Abstract（参考訳）: 経験的観測によって捉えたように、多くの現代的な機械学習タスクに適合するため、重尾ノイズ下での最適化が最近人気になっている。具体的には、勾配雑音上の有限第二モーメントの代わりに、${\frak p}\in(1,2]$がより現実的である(例えば、ある$σ_{\frak l}^{\frak p}$が上界であることは、ある$σ_{\frak l}\ge0$に対して)境界付き${\frak p}$-番目のモーメントである。単純だが効果的な操作である勾配クリッピングは、この新しい課題をうまく処理することが知られている。具体的には、Clipped Stochastic Gradient Descent (Clipped SGD) は高確率率${\cal O}(σ_{\frak l}\ln(1/δ)T^{1/{\frak p}-1})$ (resp) を保証する。非平滑凸 (resp. strong convex) 問題に対する${\cal O}(σ_{\frak l}^2\ln^2(1/δ)T^{2/{\frak p}-2})$, ここで$δ\in(0,1]$は失敗確率、$T\in\mathbb{N}$は時間地平線である。本研究では、Clipped SGDの洗練された解析を行い、2つの高速速度: ${\cal O}(σ_{\frak l}d_{\rm eff}^{-1/2{\frak p}}\ln^{1-1/{\frak p}}(1/δ)T^{1/{\frak p}-1)$と${\cal O}(σ_{\frak l}^2d_{\rm eff}^{-1/{\frak p}}\ln^{2-2/{\frak p}}(1/δ)T^{2/{\frak p}-2})$を提供する。本分析では,両面の既存手法を改良し,重み付き雑音下でのクリッピング誤差に対するフリードマンの不等式ときめ細かな境界の有効利用について検討した。さらに、洗練された解析を期待の収束に拡張し、既知の下界を破る新しいレートを得る。最後に、この研究を補完するために、高確率および非観測収束の双方に対して新しい下界を確立する。特に、観測外下界は我々の新しい上界と一致しており、予想される収束に対する洗練された解析の最適性を示している。

論文の概要: Clipped Gradient Methods for Nonsmooth Convex Optimization under Heavy-Tailed Noise: A Refined Analysis

関連論文リスト