論文の概要: Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises

• arxiv url: http://arxiv.org/abs/2507.13283v1
• Date: Thu, 17 Jul 2025 16:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.578579
• Title: Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises
• Title（参考訳）: 重音下における確率弱凸最適化
• Authors: Tianxi Zhu, Yi Xu, Xiangyang Ji,
• Abstract要約: 本稿では,サブワイブルノイズとSsBCノイズの2種類のノイズに着目した。 これら2つのノイズ仮定の下では、凸最適化と滑らかな最適化の文脈において、SFOMの不規則および高確率収束が研究されている。
• 参考スコア（独自算出の注目度）: 55.43924214633558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An increasing number of studies have focused on stochastic first-order methods (SFOMs) under heavy-tailed gradient noises, which have been observed in the training of practical deep learning models. In this paper, we focus on two types of gradient noises: one is sub-Weibull noise, and the other is noise under the assumption that it has a bounded $p$-th central moment ($p$-BCM) with $p\in (1, 2]$. The latter is more challenging due to the occurrence of infinite variance when $p\in (1, 2)$. Under these two gradient noise assumptions, the in-expectation and high-probability convergence of SFOMs have been extensively studied in the contexts of convex optimization and standard smooth optimization. However, for weakly convex objectives-a class that includes all Lipschitz-continuous convex objectives and smooth objectives-our understanding of the in-expectation and high-probability convergence of SFOMs under these two types of noises remains incomplete. We investigate the high-probability convergence of the vanilla stochastic subgradient descent (SsGD) method under sub-Weibull noises, as well as the high-probability and in-expectation convergence of clipped SsGD under the $p$-BCM noises. Both analyses are conducted in the context of weakly convex optimization. For weakly convex objectives that may be non-convex and non-smooth, our results demonstrate that the theoretical dependence of vanilla SsGD on the failure probability and number of iterations under sub-Weibull noises does not degrade compared to the case of smooth objectives. Under $p$-BCM noises, our findings indicate that the non-smoothness and non-convexity of weakly convex objectives do not impact the theoretical dependence of clipped SGD on the failure probability relative to the smooth case; however, the sample complexity we derived is worse than a well-known lower bound for smooth optimization.
• Abstract（参考訳）: 実際のディープラーニングモデルのトレーニングにおいて観測された重尾勾配雑音下での確率的一階法(SFOM)に着目した研究が増えている。 本稿では,2種類の勾配雑音に着目し,その1つはサブワイブル雑音であり,もう1つはp$-th Central moment (p$-BCM) と$p\in (1, 2]$を持つという仮定の下でノイズである。 後者は、$p\in (1, 2)$ のときの無限分散の発生によりより困難である。 これら2つの勾配雑音仮定の下では、凸最適化と標準滑らかな最適化の文脈において、SFOMの不規則および高確率収束が広く研究されている。 しかし、全てのリプシッツ連続凸対象と滑らかな目的を含む弱凸対象に対しては、これらの2種類の雑音の下でのSFOMの観測外および高確率収束の理解は不完全である。 サブワイブル雑音下でのバニラ確率下降降下法(SsGD)の高確率収束と,$p$-BCM雑音下でのクリッピングしたSsGDの高確率および非予測収束について検討した。 どちらの解析も弱凸最適化の文脈で行われる。 非凸かつ非平滑であるような弱凸対象に対しては,バニラSsGDの故障確率とサブワイブル雑音下での繰り返し数に対する理論的依存性は,滑らかな対象よりも劣化しないことを示す。 p$-BCMの雑音の下では、弱凸対象の非滑らかさと非凸性は、スムーズな場合と比較してクリッピングされたSGDの故障確率に対する理論的依存性には影響しないが、我々が引き起こしたサンプルの複雑さは、スムーズな最適化のためによく知られた下限よりも悪い。

関連論文リスト

• Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise [60.17850744118546]
  Clip-SGDのようなクリッピングを持つ一階法は、$(L_$1)$-smoothnessの仮定の下でSGDよりも強い収束保証を示す。 Clip-SGD の高確率収束バウンダリを凸 $(L_$1)$-smooth の重み付き雑音による最適化に適用した最初の高確率収束バウンダリを確立する。
  論文  参考訳（メタデータ） (2025-05-27T07:23:42Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。