論文の概要: Gradient Methods with Online Scaling Part I. Theoretical Foundations
- arxiv url: http://arxiv.org/abs/2505.23081v1
- Date: Thu, 29 May 2025 04:35:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-30 18:14:07.678527
- Title: Gradient Methods with Online Scaling Part I. Theoretical Foundations
- Title（参考訳）: オンラインスケーリングによるグラディエント手法 その1. 理論的基礎
- Authors: Wenzhi Gao, Ya-Chi Chu, Yinyu Ye, Madeleine Udell,
- Abstract要約: 本稿では,オンラインスケールド手法(OSGM)の理論的基礎を確立する。
OSGMは、収束度から動機付けられたフィードバック関数によるステップサイズの有効性を定量化し、オンライン学習アルゴリズムを用いてステップサイズを調整する。
OSGMは、滑らかな凸問題に対する望ましい収束を保証する。1)滑らかな凸問題に対する軌道依存のグローバル収束、2)滑らかな凸問題に対する複雑性の改善、3)局所超線型収束などである。
- 参考スコア（独自算出の注目度）: 19.218484733179356
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper establishes the theoretical foundations of the online scaled gradient methods (OSGM), a framework that utilizes online learning to adapt stepsizes and provably accelerate first-order methods. OSGM quantifies the effectiveness of a stepsize by a feedback function motivated from a convergence measure and uses the feedback to adjust the stepsize through an online learning algorithm. Consequently, instantiations of OSGM achieve convergence rates that are asymptotically no worse than the optimal stepsize. OSGM yields desirable convergence guarantees on smooth convex problems, including 1) trajectory-dependent global convergence on smooth convex objectives; 2) an improved complexity result on smooth strongly convex problems, and 3) local superlinear convergence. Notably, OSGM constitutes a new family of first-order methods with non-asymptotic superlinear convergence, joining the celebrated quasi-Newton methods. Finally, OSGM explains the empirical success of the popular hypergradient-descent heuristic in optimization for machine learning.
- Abstract（参考訳）: 本稿では,オンライン学習を利用して段階化を図り,一階法を確実に高速化するフレームワークである,オンラインスケール勾配法(OSGM)の理論的基礎を確立する。
OSGMは、収束度から動機付けられたフィードバック関数によるステップサイズの有効性を定量化し、オンライン学習アルゴリズムを用いてステップサイズを調整する。
したがって、OSGMのインスタンス化は、漸近的に最適なステップサイズよりも悪くない収束率を達成する。
OSGMは滑らかな凸問題に対する望ましい収束を保証する。
1) 滑らかな凸目標に対する軌道依存的大域収束
2)円滑な凸問題における複雑さの改善
3)局所超線型収束。
特に、OSGMは漸近的でない超線形収束を持つ新しい一階法群を構成し、有名な準ニュートン法と結合する。
最後に、OSGMは機械学習の最適化において、人気のある過勾配の急激なヒューリスティックの実証的な成功について説明している。
関連論文リスト
- A Learn-to-Optimize Approach for Coordinate-Wise Step Sizes for Quasi-Newton Methods [9.82454981262489]
LSTMネットワークを用いて最適なステップサイズを学習するL2O(Learning-to-Optimize)手法を提案する。
提案手法はスカラーステップサイズ法や過勾配降下法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2024-11-25T07:13:59Z) - Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。
ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。
ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文 参考訳（メタデータ） (2024-08-17T02:22:08Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳（メタデータ） (2024-03-06T04:43:22Z) - Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive
Step Size [29.15132344744801]
本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。
これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
論文 参考訳（メタデータ） (2021-12-30T00:50:30Z) - Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる
新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文 参考訳（メタデータ） (2021-05-13T04:23:07Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。