論文の概要: Analysis of Schedule-Free Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2508.06743v1
• Date: Fri, 08 Aug 2025 22:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.529091
• Title: Analysis of Schedule-Free Nonconvex Optimization
• Title（参考訳）: スケジュールフリー非凸最適化の解析
• Authors: Connor Brown,
• Abstract要約: 大規模学習アルゴリズムの根底にある一階法であるが、その収束性は慎重にスケジュールされたステップのヒンジを保証し、前例のないスケジュール自由地平線に依存する。 我々の$Oレートが$O(log T)$に束縛されていることを示す。 我々の研究はSFの地平線を拡張し、最適な非滑らかな速度で将来の方向をグラフ化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: First-order methods underpin most large-scale learning algorithms, yet their classical convergence guarantees hinge on carefully scheduled step-sizes that depend on the total horizon $T$, which is rarely known in advance. The Schedule-Free (SF) method promises optimal performance with hyperparameters that are independent of $T$ by interpolating between Polyak--Ruppert averaging and momentum, but nonconvex analysis of SF has been limited or reliant on strong global assumptions. We introduce a robust Lyapunov framework that, under only $L$-smoothness and lower-boundedness, reduces SF analysis to a single-step descent inequality. This yields horizon-agnostic bounds in the nonconvex setting: $O(1/\log T)$ for constant step + PR averaging, $O(\log T/T)$ for a linearly growing step-size, and a continuum of $O(T^{-(1-\alpha)})$ rates for polynomial averaging. We complement these proofs with Performance Estimation Problem (PEP) experiments that numerically validate our rates and suggest that our $O(1/\log T)$ bound on the original nonconvex SF algorithm may tighten to $O(1/T)$. Our work extends SF's horizon-free guarantees to smooth nonconvex optimization and charts future directions for optimal nonconvex rates.
• Abstract（参考訳）: 大規模学習アルゴリズムの根底にある一階法であるが、古典的な収束は、事前に知られていない総地平線$T$に依存する、注意深くスケジュールされたステップサイズでのヒンジを保証する。 Schedule-Free (SF) 法は、Polyak-Ruppert 平均運動量と運動量との補間により、$T$とは独立なハイパーパラメータによる最適性能を約束するが、SF の非凸解析は、強い大域的な仮定に制限あるいは依存している。 我々は、L$-smoothnessとlow-boundednessしか持たないロバストなLyapunovフレームワークを導入し、SF解析を単一ステップの降下不等式に還元する。 定数ステップ + PR平均化に対して$O(1/\log T)$、線形に成長するステップサイズに対して$O(\log T/T)$、多項式平均化に対する$O(T^{-(1-\alpha)} の連続体。 我々はこれらの証明を、我々のレートを数値的に検証する性能推定問題(PEP)実験で補完し、元の非凸SFアルゴリズムに縛られた$O(1/\log T)$が$O(1/T)$に固まることを示唆する。 我々の研究は、SFの水平自由保証をスムーズな非凸最適化に拡張し、最適非凸速度の今後の方向をグラフ化する。

関連論文リスト

• A stochastic first-order method with multi-extrapolated momentum for highly smooth unconstrained optimization [3.8919212824749296]
  提案したSFOMは,目的関数の高次滑らか度を$f$とすることで,最適化を高速化できることを示す。 我々の知る限りでは、これは対象関数の任意の次スムーズネスを加速度に利用した最初のSFOMである。
  論文  参考訳（メタデータ） (2024-12-19T03:22:47Z)
• High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
  重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。 解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
  論文  参考訳（メタデータ） (2023-10-28T18:53:41Z)
• Stochastic Nonsmooth Convex Optimization with Heavy-Tailed Noises: High-Probability Bound, In-Expectation Rate and Initial Distance Adaptation [22.758674468435302]
  重尾雑音系では、勾配と真の速度の差は有限の$p-thモーメントを持つと仮定される。 本稿では,重み付き雑音を用いた非平滑凸最適化の包括的解析を行う。
  論文  参考訳（メタデータ） (2023-03-22T03:05:28Z)
• Sharper Rates and Flexible Framework for Nonconvex SGD with Client and Data Sampling [64.31011847952006]
  我々は、平均$n$スムーズでおそらくは非カラー関数のほぼ定常点を求める問題を再考する。 我々は$smallsfcolorgreen$を一般化し、事実上あらゆるサンプリングメカニズムで確実に動作するようにします。 我々は、スムーズな非カラー状態における最適境界の最も一般的な、最も正確な解析を提供する。
  論文  参考訳（メタデータ） (2022-06-05T21:32:33Z)
• Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
  標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。 マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
  論文  参考訳（メタデータ） (2021-12-23T18:47:50Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。