論文の概要: Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise

• arxiv url: http://arxiv.org/abs/2601.19379v1
• Date: Tue, 27 Jan 2026 09:04:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.2618
• Title: Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise
• Title（参考訳）: 重音下での最適非同期確率非凸最適化
• Authors: Yidong Wu, Luo Luo,
• Abstract要約: モーメントを持つ非同期降下アルゴリズムを提案する。 p$thの複雑性を仮定して,本手法が最適時間を達成することを示す。
• 参考スコア（独自算出の注目度）: 21.48964748830889
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper considers the problem of asynchronous stochastic nonconvex optimization with heavy-tailed gradient noise and arbitrarily heterogeneous computation times across workers. We propose an asynchronous normalized stochastic gradient descent algorithm with momentum. The analysis show that our method achieves the optimal time complexity under the assumption of bounded $p$th-order central moment with $p\in(1,2]$. We also provide numerical experiments to show the effectiveness of proposed method.
• Abstract（参考訳）: 本稿では,重み付き勾配雑音による非同期確率的非凸最適化の問題と,作業者間の不均一な計算時間について考察する。 本稿では,モーメント付き非同期正規化確率勾配降下アルゴリズムを提案する。 解析の結果、この手法は有界な$p$th-orderの中央モーメントを$p\in(1,2]$と仮定して最適時間複雑性を達成できることがわかった。 また,提案手法の有効性を示す数値実験を行った。

関連論文リスト

• Accelerated stochastic first-order method for convex optimization under heavy-tailed noise [3.5877352183559386]
  本研究では,重み付き雑音下での次数推定を行う凸関数と,凸関数の和によって目的関数が与えられる凸合成最適化問題について検討する。 我々は,バニラアルゴリズムがクリッピングや正規化などの付加的な変更を伴わずに,これらの問題に対して最適な複雑性を達成できることを実証した。
  論文  参考訳（メタデータ） (2025-10-13T17:45:05Z)
• Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization [51.63258496873442]
  合成最適化問題に関するこれまでの研究は、滑らか性の主要な部分、あるいはこれら2つの近似滑らか性点をそれぞれ除外した機械学習の例を必要とする。 本研究では,この問題に対する2つの新しいアルゴリズムを提案する。 これらのアルゴリズムは数値実験により有効であることを示す。
  論文  参考訳（メタデータ） (2025-10-06T02:35:42Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。