論文の概要: Uniform a priori bounds and error analysis for the Adam stochastic gradient descent optimization method
- arxiv url: http://arxiv.org/abs/2603.18899v1
- Date: Thu, 19 Mar 2026 13:39:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.174839
- Title: Uniform a priori bounds and error analysis for the Adam stochastic gradient descent optimization method
- Title（参考訳）: アダム確率勾配勾配最適化法における一様先行境界と誤差解析
- Authors: Steffen Dereich, Thang Do, Arnulf Jentzen,
- Abstract要約: Kingma & Ba (2014) が提唱した適応モーメント推定 (Adam) は、人工知能 (AI) システムにおけるディープニューラルネットワーク (DNN) のトレーニングにおいて、最も一般的な勾配降下 (SGD) 最適化法である。
強凸最適化問題(SOP)に対する以前の誤差解析の結果は、アダムが無限大に分岐せず、一様有界であるという仮定に依存している。
この研究の鍵となる貢献は、アダムの事前境界を一様に定め、従って、強い凸 SOP の大きなクラスに対して、アダムの非条件誤差解析(英語版)を初めて提供することである。
- 参考スコア（独自算出の注目度）: 1.8734449181723825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The adaptive moment estimation (Adam) optimizer proposed by Kingma & Ba (2014) is presumably the most popular stochastic gradient descent (SGD) optimization method for the training of deep neural networks (DNNs) in artificial intelligence (AI) systems. Despite its groundbreaking success in the training of AI systems, it still remains an open research problem to provide a complete error analysis of Adam, not only for optimizing DNNs but even when applied to strongly convex stochastic optimization problems (SOPs). Previous error analysis results for strongly convex SOPs in the literature provide conditional convergence analyses that rely on the assumption that Adam does not diverge to infinity but remains uniformly bounded. It is the key contribution of this work to establish uniform a priori bounds for Adam and, thereby, to provide -- for the first time -- an unconditional error analysis for Adam for a large class of strongly convex SOPs.
- Abstract（参考訳）: 適応モーメント推定(アダプティブモーメント・オプティマイザ)は、人工知能(AI)システムにおけるディープニューラルネットワーク(DNN)のトレーニングにおいて、おそらく最も一般的な確率勾配降下(SGD)最適化法である。
AIシステムのトレーニングにおいて、画期的な成功を収めたにもかかわらず、DNNを最適化するだけでなく、強い凸確率最適化問題(SOP)に適用しても、Adamの完全なエラー分析を提供するためのオープンな研究課題である。
文献における強い凸 SOP に対する以前の誤差解析の結果は、アダムが無限大に分岐せず一様有界であるという仮定に依存する条件収束解析を提供する。
この研究の鍵となる貢献は、アダムの事前境界を一様に定め、従って、強い凸 SOP の大きなクラスに対して、アダムの非条件誤差解析(英語版)を初めて提供することである。
関連論文リスト
- High Probability Convergence of Adam Under Unbounded Gradients and
Affine Variance Noise [4.9495085874952895]
我々はAdamが高い確率で定常点に収束できることを示し、$mathcalOleft(rm poly(log T)/sqrtTright)$を座標ワイドな「アフィン」ノイズ分散の下で表す。
また、Adamの閉包は$mathcalOleft(rm poly(left T)right)$の順序でノイズレベルに適応していることも明らかにされている。
論文 参考訳（メタデータ） (2023-11-03T15:55:53Z) - UAdam: Unified Adam-Type Algorithmic Framework for Non-Convex Stochastic
Optimization [20.399244578926474]
我々は,Adam型アルゴリズム(UAdam)の統一フレームワークを導入する。
これは、NAdamBound、AdaFom、Adanといった2階のモーメントの一般的な形式を備えている。
UAdam が定常点の近傍に収束して $mathcalO (1/T)$ となることを示す。
論文 参考訳（メタデータ） (2023-05-09T13:07:03Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。
我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
論文 参考訳（メタデータ） (2021-12-07T02:47:58Z) - On the One-sided Convergence of Adam-type Algorithms in Non-convex
Non-concave Min-max Optimization [43.504548777955854]
本稿では,一方のMVI条件下での分極最適化問題において,アダム型アルゴリズムが一方の1次定常点に収束することを示す。
また,この片側MVI条件が標準GANに対して満たされていることを実証的に検証した。
論文 参考訳（メタデータ） (2021-09-29T06:38:39Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳（メタデータ） (2021-08-25T17:58:21Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。