Fugu-MT 論文翻訳(概要): Sequential convergence of AdaGrad algorithm for smooth convex optimization

論文の概要: Sequential convergence of AdaGrad algorithm for smooth convex optimization

arxiv url: http://arxiv.org/abs/2011.12341v3
Date: Tue, 13 Apr 2021 16:00:21 GMT
ステータス: 処理完了
システム内更新日: 2022-09-21 14:22:57.905403
Title: Sequential convergence of AdaGrad algorithm for smooth convex optimization
Title（参考訳）: 滑らかな凸最適化のためのAdaGradアルゴリズムの逐次収束
Authors: Cheik Traor\'e and Edouard Pauwels
Abstract要約: リプシッツ勾配を持つ凸対象関数に適用した場合、AdaGradアルゴリズムの反復あるいは座標変種が収束列であることを証明する。鍵となる洞察は、そのようなAdaGrad列が可変計量準Fej'er単調性を満たすことであり、収束を証明できる。
参考スコア（独自算出の注目度）: 5.584060970507506
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We prove that the iterates produced by, either the scalar step size variant, or the coordinatewise variant of AdaGrad algorithm, are convergent sequences when applied to convex objective functions with Lipschitz gradient. The key insight is to remark that such AdaGrad sequences satisfy a variable metric quasi-Fej\'er monotonicity property, which allows to prove convergence.
Abstract（参考訳）: リプシッツ勾配を持つ凸対象関数に適用すると、スカラーステップサイズ変種またはアダグラードアルゴリズムの座標変種のいずれかによって生成されたイテレートが収束列であることが証明される。鍵となる洞察は、そのようなAdaGrad列は、収束を証明できる可変計量準Fej\'er単調性を満たすことである。

関連論文リスト

Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent [0.3831327965422187]
本稿では,勾配降下(SGD)における適応ステップサイズに対する新しいアプローチを提案する。我々は、勾配に対するリプシッツ定数と探索方向の局所的分散の概念という、数値的にトレース可能な量を用いる。
論文参考訳（メタデータ） (2023-11-28T17:03:56Z)
The Novel Adaptive Fractional Order Gradient Decent Algorithms Design via Robust Control [5.5491171448159715]
バニラ分数次降下は、目的関数が強く凸である場合には、正確な最小点に収束する代わりに、大域最小点の周りの領域に振動的に収束することがある。この問題に対処するために,新しい適応分数次降下法 (AFDOG) と新しい分数次降下法 (AFOAGD) を提案する。
論文参考訳（メタデータ） (2023-03-08T02:03:30Z)
Asymptotic convergence of iterative optimization algorithms [1.6328866317851185]
本稿では,反復最適化アルゴリズムの一般的なフレームワークを紹介する。適切な仮定の下では、収束率を低くすることができる。私たちは正確な収束率を提供します。
論文参考訳（メタデータ） (2023-02-24T09:58:56Z)
High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文参考訳（メタデータ） (2023-02-02T10:37:23Z)
On the Convergence of AdaGrad(Norm) on $\R^{d}$: Beyond Convexity, Non-Asymptotic Rate and Acceleration [33.247600151322466]
我々は、滑らかな凸関数の標準設定において、AdaGradとその変種についてより深く理解する。まず、制約のない問題に対して、バニラ AdaGrad の収束率を明示的に拘束する新しい手法を示す。第二に、平均的な反復ではなく、最後の反復の収束を示すことのできる AdaGrad の変種を提案する。
論文参考訳（メタデータ） (2022-09-29T14:44:40Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。予測勾配降下アルゴリズムのランダム化近似を考察する。その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文参考訳（メタデータ） (2020-06-14T10:42:23Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)
Explicit Regularization of Stochastic Gradient Methods through Duality [9.131027490864938]
ランダム化された双対座標の上昇に基づくランダム化されたDykstraスタイルのアルゴリズムを提案する。座標降下を高速化するために、補間系における既存の勾配法よりも収束特性がよい新しいアルゴリズムを得る。
論文参考訳（メタデータ） (2020-03-30T20:44:56Z)
Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
論文参考訳（メタデータ） (2020-02-27T16:33:09Z)
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。