論文の概要: Continuous-Time Analysis of Adaptive Optimization and Normalization

• arxiv url: http://arxiv.org/abs/2411.05746v1
• Date: Fri, 08 Nov 2024 18:07:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:55:29.285137
• Title: Continuous-Time Analysis of Adaptive Optimization and Normalization
• Title（参考訳）: 適応最適化と正規化の連続時間解析
• Authors: Rhys Gould, Hidenori Tanaka,
• Abstract要約: 適応最適化アルゴリズム、特にAdamとその変種AdamWは、現代のディープラーニングの基本コンポーネントである。 この研究は、AdamとAdamWの連続的な時間的定式化を示し、トレーニングダイナミクスの抽出可能な解析を容易にする。
• 参考スコア（独自算出の注目度）: 5.954511401622424
• License:
• Abstract: Adaptive optimization algorithms, particularly Adam and its variant AdamW, are fundamental components of modern deep learning. However, their training dynamics lack comprehensive theoretical understanding, with limited insight into why common practices - such as specific hyperparameter choices and normalization layers - contribute to successful generalization. This work presents a continuous-time formulation of Adam and AdamW, facilitating a tractable analysis of training dynamics that can shed light on such practical questions. We theoretically derive a stable region for Adam's hyperparameters $(\beta, \gamma)$ that ensures bounded updates, empirically verifying these predictions by observing unstable exponential growth of parameter updates outside this region. Furthermore, we theoretically justify the success of normalization layers by uncovering an implicit meta-adaptive effect of scale-invariant architectural components. This insight leads to an explicit optimizer, $2$-Adam, which we generalize to $k$-Adam - an optimizer that applies an adaptive normalization procedure $k$ times, encompassing Adam (corresponding to $k=1$) and Adam with a normalization layer (corresponding to $k=2$). Overall, our continuous-time formulation of Adam facilitates a principled analysis, offering deeper understanding of optimal hyperparameter choices and architectural decisions in modern deep learning.
• Abstract（参考訳）: 適応最適化アルゴリズム、特にAdamとその変種AdamWは、現代のディープラーニングの基本コンポーネントである。 しかしながら、トレーニングダイナミクスには包括的な理論的理解が欠如しており、特定のハイパーパラメータ選択や正規化レイヤといった一般的なプラクティスが、一般化の成功に寄与する理由についての洞察が限られている。 この研究は、AdamとAdamWの連続的な定式化を示し、このような実践的な疑問に光を当てることのできる、トレーニングのダイナミクスの抽出可能な分析を容易にする。 理論的には、アダムのハイパーパラメータ $(\beta, \gamma)$ に対して安定な領域を導出し、この領域の外でのパラメータ更新の不安定な指数関数的成長を観測することによって、これらの予測を実証的に検証する。 さらに,スケール不変アーキテクチャコンポーネントの暗黙的メタ適応効果を明らかにすることにより,正規化層の成功を理論的に正当化する。 これはAdam($k=1$に対応する)とAdam($k=2$に対応する)を含む適応正規化手順を応用したオプティマイザである。 全体として、Adamの継続的定式化は原則化された分析を促進し、現代のディープラーニングにおける最適なハイパーパラメータの選択とアーキテクチャ上の決定をより深く理解します。

関連論文リスト

• On the Optimization and Generalization of Two-layer Transformers with Sign Gradient Descent [51.50999191584981]
  Sign Gradient Descent (SignGD) はアダムの効果的なサロゲートである。 我々はSignGDが雑音の多いデータセット上で2層トランスを最適化する方法について検討する。 SignGDの一般化が不十分なのはデータノイズによるものではなく、SignGDとAdamの両方が現実世界のタスクに高品質なデータを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2024-10-07T09:36:43Z)
• Adam with model exponential moving average is effective for nonconvex optimization [45.242009309234305]
  本稿では,Adamのような適応最適化アルゴリズムと(II)指数移動平均(EMA)モデルという,大規模かつ複雑なモデルのトレーニングのための2つの現代的な最適化手法に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2024-05-28T14:08:04Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
  本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。 我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
  論文  参考訳（メタデータ） (2021-12-07T02:47:58Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。