論文の概要: Stochastic convergence of parallel asynchronous adaptive first-order methods
- arxiv url: http://arxiv.org/abs/2606.01787v1
- Date: Mon, 01 Jun 2026 07:08:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:31.480079
- Title: Stochastic convergence of parallel asynchronous adaptive first-order methods
- Title（参考訳）: 並列非同期適応一階法における確率収束
- Authors: Serge Gratton, Philippe L. Toint,
- Abstract要約: 非同期適応1次最適化手法の新たなクラスが導入された。
実験により、そのようなアルゴリズムは異種機械学習システムに非常に関係があることが示唆された。
- 参考スコア（独自算出の注目度）: 0.7161783472741748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A new class of asynchronous adaptive first-order optimization methods is introduced, comprising asynchronous variants of several popular algorithms. Versions of these methods using momentum and/or inexact normalization are also considered. The convergence of methods in the class on non-convex functions is analyzed in a fully stochastic setting, and is shown to be (up to logarithmic factors) of order O(1/sqrt{t}) under reasonable assumptions. Numerical experiments suggest that such asynchronous adaptive algorithms are very relevant in heterogeneous large-scale machine learning systems.
- Abstract（参考訳）: いくつかの一般的なアルゴリズムの非同期な変種を含む、新しい非同期適応一階最適化手法が導入された。
運動量および/または不正確な正規化を用いたこれらの方法のバージョンも考慮されている。
非凸函数上のクラスのメソッドの収束は、完全に確率的な環境で解析され、合理的な仮定の下で位数 O(1/sqrt{t}) の(対数的因子まで)であることが示される。
このような非同期適応アルゴリズムは、不均一な大規模機械学習システムにおいて非常に関係があることを数値実験により示唆している。
関連論文リスト
- Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise [21.48964748830889]
モーメントを持つ非同期降下アルゴリズムを提案する。
p$thの複雑性を仮定して,本手法が最適時間を達成することを示す。
論文 参考訳（メタデータ） (2026-01-27T09:04:35Z) - Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity [51.56484100374058]
本稿では,並列計算の理論的下界を実現する最初の非同期アルゴリズムであるリングリーダーASGDを紹介する。
我々の分析により、リングリーダーASGDは任意の勾配と時間変化速度の下で最適であることが明らかとなった。
論文 参考訳（メタデータ） (2025-09-26T19:19:15Z) - Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳（メタデータ） (2023-02-01T08:50:48Z) - Explicit Second-Order Min-Max Optimization: Practical Algorithms and Complexity Analysis [71.05708939639537]
本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なNewton型手法をいくつか提案し,解析する。
提案手法は,Sur分解の必要回数の$O(log(1/eps)$因子をシェービングすることで,既存のライン検索に基づくmin-max最適化を改善する。
論文 参考訳（メタデータ） (2022-10-23T21:24:37Z) - Adaptive First- and Second-Order Algorithms for Large-Scale Machine
Learning [3.0204520109309843]
機械学習における連続最適化問題に対処する一階法と二階法を考察する。
一階述語の場合、半決定論的から二次正規化への遷移の枠組みを提案する。
本稿では,適応的なサンプリングと適応的なステップサイズを持つ新しい1次アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-11-29T18:10:00Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic
Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。
実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文 参考訳（メタデータ） (2020-05-19T07:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。