論文の概要: Stochastic Auto-conditioned Fast Gradient Methods with Optimal Rates

• arxiv url: http://arxiv.org/abs/2604.06525v2
• Date: Tue, 14 Apr 2026 04:56:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 14:01:13.128247
• Title: Stochastic Auto-conditioned Fast Gradient Methods with Optimal Rates
• Title（参考訳）: 最適速度をもつ確率的自己条件付高速勾配法
• Authors: Yao Ji, Guanghui Lan,
• Abstract要約: 本稿では,AC-FGMと呼ばれる自動条件付高速勾配法の変種を提案する。 提案手法はリプシッツ定数,地平線,騒音レベルに完全に適応し,適応的なステップサイズ選択と適応的なミニバッチサイズをライン探索なしで実現できる。
• 参考スコア（独自算出の注目度）: 3.083659340977661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving optimal rates for stochastic composite convex optimization without prior knowledge of problem parameters remains a central challenge. In the deterministic setting, the auto-conditioned fast gradient method has recently been proposed to attain optimal accelerated rates without line-search procedures or prior knowledge of the Lipschitz smoothness constant, providing a natural prototype for parameter-free acceleration. However, extending this approach to the stochastic setting has proven technically challenging and remains open. Existing parameter-free stochastic methods either fail to achieve accelerated rates or rely on restrictive assumptions, such as bounded domains, bounded gradients, prior knowledge of the iteration horizon, or strictly sub-Gaussian noise. To address these limitations, we propose a stochastic variant of the auto-conditioned fast gradient method, referred to as stochastic AC-FGM. The proposed method is fully adaptive to the Lipschitz constant, the iteration horizon, and the noise level, enabling both adaptive stepsize selection and adaptive mini-batch sizing without line-search procedures. Under standard bounded conditional variance assumptions, we show that stochastic AC-FGM achieves the optimal iteration complexity of $O(1/\sqrt{\varepsilon})$ and the optimal sample complexity of $O(1/\varepsilon^2)$.
• Abstract（参考訳）: 問題パラメータの事前知識のない確率的複合凸最適化の最適速度を達成することは、依然として中心的な課題である。 決定論的条件下では、線形探索手順やリプシッツ滑らか性定数の事前知識を使わずに最適な加速率を達成するための自動条件付高速勾配法が最近提案され、パラメータフリー加速の自然なプロトタイプを提供する。 しかし、このアプローチを確率的な設定に拡張することは技術的に困難であることが証明され、未解決のままである。 既存のパラメータフリー確率的手法は加速率の達成に失敗したり、有界領域、有界勾配、反復地平線の事前の知識、厳密な準ガウスノイズといった制限的な仮定に依存する。 これらの制約に対処するため, 確率型AC-FGMと呼ばれる自動条件付高速勾配法の確率的変種を提案する。 提案手法は,リプシッツ定数,繰り返し水平,雑音レベルに完全に適応し,適応的なステップサイズ選択と適応的なミニバッチサイズをライン探索なしで実現できる。 標準的な有界条件分散仮定の下では、確率 AC-FGM が $O(1/\sqrt{\varepsilon})$ の最適反復複雑性と $O(1/\varepsilon^2)$ の最適サンプル複雑性を達成することを示す。

関連論文リスト

• OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
  我々はOptEMAを導入し、OptEMA-MとOptEMA-Vの2つの新しい変種を分析した。 OptEMA は閉ループであり、その実効的な階段化は軌道依存であり、パラメータ化にリプシッツ定数を必要としないという意味でリプシッツ自由である。 どちらの変種も平均勾配ノルムに対して$widetildemathcalO(T-1/2+1/2 T-1/4)$の雑音適応収束率を得る。
  論文  参考訳（メタデータ） (2026-03-10T17:19:54Z)
• Nesterov Finds GRAAL: Optimal and Adaptive Gradient Method for Convex Optimization [9.98884634301032]
  最近、Malitsky (2020), Alacaoglu et al.(2023) は適応的な一階法 GRAAL を開発した。 我々は,Nesterov 加速度を用いた GRAAL を開発した。これは,非加速 GRAAL と同様に局所曲率を幾何的,あるいは線形で,局所的な曲率に順応することができる。
  論文  参考訳（メタデータ） (2025-07-13T23:07:45Z)
• Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization [18.47705532817026]
  適応勾配法は、最も成功したニューラルネットワークトレーニングアルゴリズムの一つである。 これらの手法は凸SGD-ノルマリティよりも次元依存性が優れていることが知られている。 本稿では,構造物の滑らかさと勾配雑音の分散に関する新しい仮定を紹介する。
  論文  参考訳（メタデータ） (2024-06-07T02:55:57Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Adaptive extra-gradient methods for min-max optimization and games [35.02879452114223]
  本稿では,初期の反復で観測された勾配データの幾何を自動的に活用する,minmax最適化アルゴリズムの新たなファミリーを提案する。 この適応機構により,提案手法は問題がスムーズかどうかを自動的に検出する。 滑らかな問題における$mathcalO (1/varepsilon)$反復と、非滑らかな問題における$mathcalO (1/varepsilon)$反復に収束する。
  論文  参考訳（メタデータ） (2020-10-22T22:54:54Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。