論文の概要: Local Convergence of Adaptive Gradient Descent Optimizers
- arxiv url: http://arxiv.org/abs/2102.09804v1
- Date: Fri, 19 Feb 2021 08:36:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-22 15:13:59.982644
- Title: Local Convergence of Adaptive Gradient Descent Optimizers
- Title（参考訳）: 適応勾配降下オプティマイザの局所収束
- Authors: Sebastian Bock and Martin Georg Wei{\ss}
- Abstract要約: 適応モーメント推定 (adaptive moment estimation, adam) は深層ニューラルネットワークのための非常に一般的なアルゴリズムであり、適応勾配降下の族に属する。
ADAMの完全な分析は存在しない。
本論文はバッチモードにおける決定論的収束解析の一手法である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adaptive Moment Estimation (ADAM) is a very popular training algorithm for
deep neural networks and belongs to the family of adaptive gradient descent
optimizers. However to the best of the authors knowledge no complete
convergence analysis exists for ADAM. The contribution of this paper is a
method for the local convergence analysis in batch mode for a deterministic
fixed training set, which gives necessary conditions for the hyperparameters of
the ADAM algorithm. Due to the local nature of the arguments the objective
function can be non-convex but must be at least twice continuously
differentiable. Then we apply this procedure to other adaptive gradient descent
algorithms and show for most of them local convergence with hyperparameter
bounds.
- Abstract（参考訳）: adaptive moment estimation (adam) はディープニューラルネットワークのための非常に人気のあるトレーニングアルゴリズムであり、適応勾配降下オプティマイザに属する。
しかし、著者の最高の知識には、ADAMの完全な収束分析はありません。
本論文の貢献は,ADAMアルゴリズムのハイパーパラメータに必要な条件を与える決定論的固定トレーニングセットのバッチモードにおける局所収束解析の手法である。
引数の局所的性質のために、目的関数は非凸であるが、少なくとも2回連続微分可能でなければならない。
次に、この手順を他の適応勾配降下アルゴリズムに適用し、そのほとんどがハイパーパラメータ境界を持つ局所収束を示す。
関連論文リスト
- Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。
有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。
このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
論文 参考訳（メタデータ） (2021-02-19T01:17:15Z) - GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online
Optimization [4.103281325880475]
本稿では、中央コーディネータを使わずに、局所的な計算と通信によって、オンライン最適化問題を分散的に解決することを目的とした、計算機エージェントのネットワークを扱う。
本稿では,適応運動量推定法(GTAdam)を用いた勾配追従法と,勾配の1次および2次運動量推定法を組み合わせた勾配追従法を提案する。
マルチエージェント学習によるこれらの数値実験では、GTAdamは最先端の分散最適化手法よりも優れている。
論文 参考訳（メタデータ） (2020-09-03T15:20:21Z) - MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of
Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。
これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文 参考訳（メタデータ） (2020-06-21T21:47:43Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Optimization of Graph Total Variation via Active-Set-based Combinatorial
Reconditioning [48.42916680063503]
本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。
不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。
この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
論文 参考訳（メタデータ） (2020-02-27T16:33:09Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z) - On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。
解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文 参考訳（メタデータ） (2018-08-16T20:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。