論文の概要: Provable Adaptivity of Adam under Non-uniform Smoothness

• arxiv url: http://arxiv.org/abs/2208.09900v2
• Date: Mon, 24 Jun 2024 14:33:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 05:28:15.962499
• Title: Provable Adaptivity of Adam under Non-uniform Smoothness
• Title（参考訳）: 非均一な滑らかさ下でのアダムの確率的適応性
• Authors: Bohan Wang, Yushun Zhang, Huishuai Zhang, Qi Meng, Ruoyu Sun, Zhi-Ming Ma, Tie-Yan Liu, Zhi-Quan Luo, Wei Chen,
• Abstract要約: アダムは急速に収束するため、実用的な用途で広く採用されている。 アダムの既存の収束解析は、有界な滑らかさの仮定に依存する。 本稿では,ランダムにリシャッフルされたAdamの学習率の低下に伴う収束について検討する。
• 参考スコア（独自算出の注目度）: 79.25087082434975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adam is widely adopted in practical applications due to its fast convergence. However, its theoretical analysis is still far from satisfactory. Existing convergence analyses for Adam rely on the bounded smoothness assumption, referred to as the \emph{L-smooth condition}. Unfortunately, this assumption does not hold for many deep learning tasks. Moreover, we believe that this assumption obscures the true benefit of Adam, as the algorithm can adapt its update magnitude according to local smoothness. This important feature of Adam becomes irrelevant when assuming globally bounded smoothness. This paper studies the convergence of randomly reshuffled Adam (RR Adam) with diminishing learning rate, which is the major version of Adam adopted in deep learning tasks. We present the first convergence analysis of RR Adam without the bounded smoothness assumption. We demonstrate that RR Adam can maintain its convergence properties when smoothness is linearly bounded by the gradient norm, referred to as the \emph{$(L_0, L_1)$-smooth condition. We further compare Adam to SGD when both methods use diminishing learning rate. We refine the existing lower bound of SGD and show that SGD can be slower than Adam. To our knowledge, this is the first time that Adam and SGD are rigorously compared in the same setting and the advantage of Adam is revealed.
• Abstract（参考訳）: アダムは急速に収束するため、実用的な用途で広く採用されている。 しかし、その理論的な分析は未だに満足には程遠い。 アダムの既存の収束解析は、有界な滑らかさの仮定に依存しており、これは 'emph{L-smooth condition} と呼ばれる。 残念ながら、この仮定は多くのディープラーニングタスクには当てはまらない。 さらに、この仮定はアルゴリズムが局所的滑らか度に応じて更新の大きさを適応できるので、Adamの真の利益を曖昧にしていると信じている。 アダムのこの重要な特徴は、世界的有界な滑らかさを仮定するときに無関係になる。 本稿では,ランダムリシャッフルされたAdam (RR Adam) の学習率の低下による収束について検討する。 本稿では,境界の滑らかさを仮定しないRRアダムの収束解析について述べる。 我々は、RR Adamが、滑らかさが勾配ノルムによって線型に有界であるときに収束性を維持することを証明し、これを \emph{$(L_0, L_1)$-smooth 条件と呼ぶ。 さらに,AdamとSGDを比較した。 我々は既存のSGDの下限を洗練し、SGDがAdamよりも遅いことを示す。 私たちの知る限り、AdamとSGDが同じ環境で厳格に比較され、Adamの利点が明らかになるのは、これが初めてです。

関連論文リスト

• Adam Exploits $\ell_\infty$-geometry of Loss Landscape via Coordinate-wise Adaptivity [6.270305440413688]
  好ましくは $ell_infty$-geometry が SGD であるのに対して、Adam は影響を受けていない。 我々の実験は、好ましくは $ell_infty$-geometry が SGD であるのに対して、Adam が影響を受けていない場合、さらに悪化することを確認した。
  論文  参考訳（メタデータ） (2024-10-10T17:58:53Z)
• A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD [28.905886549938305]
  本稿では,Adamの収束特性を解析するための,新しい包括的枠組みを提案する。 我々は、アダムが漸近的でない複雑性サンプルを勾配降下の値と類似して得ることを示す。
  論文  参考訳（メタデータ） (2024-10-06T12:15:00Z)
• The Implicit Bias of Adam on Separable Data [27.451499849532176]
  トレーニングデータが線形分離可能である場合、Adamは学習率の低下を達成する線形勾配に収束することを示す。 我々の結果は、アダムと(確率的な)子孫の違いを理論的観点から明らかにした。
  論文  参考訳（メタデータ） (2024-06-15T14:39:37Z)
• Closing the Gap Between the Upper Bound and the Lower Bound of Adam's Iteration Complexity [51.96093077151991]
  我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。 本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
  論文  参考訳（メタデータ） (2023-10-27T09:16:58Z)
• Maximizing Communication Efficiency for Large-scale Training via 0/1 Adam [49.426602335460295]
  1ビット通信はモデルトレーニングのスケールアップに有効な手法であり、SGDで広く研究されている。 我々は2つの新しい手法により最先端の1ビットAdamを改善する0/1Adamを提案する。
  論文  参考訳（メタデータ） (2022-02-12T08:02:23Z)
• Understanding AdamW through Proximal Methods and Scale-Freeness [57.47324825501137]
  Adam は $ell$ regularizer Adam-$ell$ の一般化である。 AdamWは、Adam-$ell$の更新ルールからAdam-$ell$の勾配を分離する。 我々はAdamWがAdam-$ell$よりも有利であることを示し、ネットワークの勾配が複数のスケールを示すことを期待する度合いを示す。
  論文  参考訳（メタデータ） (2022-01-31T21:00:55Z)
• A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
  本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。 我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
  論文  参考訳（メタデータ） (2021-12-07T02:47:58Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。