論文の概要: Adam-family Methods with Decoupled Weight Decay in Deep Learning

• arxiv url: http://arxiv.org/abs/2310.08858v1
• Date: Fri, 13 Oct 2023 04:59:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 14:24:04.787609
• Title: Adam-family Methods with Decoupled Weight Decay in Deep Learning
• Title（参考訳）: Decoupled Weight Decayを用いた深層学習におけるAdam- Family法
• Authors: Kuangyu Ding, Nachuan Xiao, Kim-Chuan Toh
• Abstract要約: 非平滑な非平滑ネットワークに対する幅広いアダム族手法の収束特性について検討する。 提案手法では,Adam with Decoupled Weight Decay (AdamD) という新しいAdam- Family法を提案する。
• 参考スコア（独自算出の注目度）: 3.4376560669160394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the convergence properties of a wide class of Adam-family methods for minimizing quadratically regularized nonsmooth nonconvex optimization problems, especially in the context of training nonsmooth neural networks with weight decay. Motivated by the AdamW method, we propose a novel framework for Adam-family methods with decoupled weight decay. Within our framework, the estimators for the first-order and second-order moments of stochastic subgradients are updated independently of the weight decay term. Under mild assumptions and with non-diminishing stepsizes for updating the primary optimization variables, we establish the convergence properties of our proposed framework. In addition, we show that our proposed framework encompasses a wide variety of well-known Adam-family methods, hence offering convergence guarantees for these methods in the training of nonsmooth neural networks. More importantly, we show that our proposed framework asymptotically approximates the SGD method, thereby providing an explanation for the empirical observation that decoupled weight decay enhances generalization performance for Adam-family methods. As a practical application of our proposed framework, we propose a novel Adam-family method named Adam with Decoupled Weight Decay (AdamD), and establish its convergence properties under mild conditions. Numerical experiments demonstrate that AdamD outperforms Adam and is comparable to AdamW, in the aspects of both generalization performance and efficiency.
• Abstract（参考訳）: 本稿では,2次正則化非滑らかな非凸最適化問題,特に重み崩壊を伴う非滑らかニューラルネットワークのトレーニングの文脈において,多種多様なadamファミリー法の収束特性について検討する。 本稿では,AdamW法をモチベーションとして,解離重み崩壊を伴うAdam系手法の新たな枠組みを提案する。 この枠組みでは,確率的次数列の一階および二階モーメントの推定子は,重み減衰項とは独立に更新される。 軽度仮定と非最小化ステップによって一次最適化変数を更新することにより,提案フレームワークの収束特性を確立する。 さらに,本提案手法は,Adam- Family法を多種に含み,非滑らかなニューラルネットワークのトレーニングにおいて,これらの手法の収束保証を提供する。 さらに,本提案手法はSGD法を漸近的に近似し,解離重み劣化がAdam- Family法における一般化性能を向上することを示す。 提案手法の実践的応用として,AdamとDecoupled Weight Decay (AdamD)を併用した新しいAdamファミリー法を提案し,その収束特性を穏やかな条件下で確立する。 数値実験により、AdamDはAdamよりも優れ、一般化性能と効率の両面でAdamWに匹敵することを示した。

関連論文リスト

• A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD [28.905886549938305]
  本稿では,Adamの収束特性を解析するための,新しい包括的枠組みを提案する。 我々は、アダムが漸近的でない複雑性サンプルを勾配降下の値と類似して得ることを示す。
  論文  参考訳（メタデータ） (2024-10-06T12:15:00Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees [5.69991777684143]
  本稿では,2段階の更新方式を採用した新しい2段階のフレームワークを提案し,その収束特性を軽度な仮定で証明する。 提案するフレームワークは,様々なAdamファミリー方式を包含し,非平滑ニューラルネットワークのトレーニングにおいて,これらの手法の収束保証を提供する。 我々は,重み付き雑音を伴う非平滑ニューラルネットワークのトレーニングにクリッピング手法を取り入れた段階的手法を開発した。
  論文  参考訳（メタデータ） (2023-05-06T05:35:56Z)
• A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
  本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。 我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
  論文  参考訳（メタデータ） (2021-12-07T02:47:58Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration [12.744658958445024]
  Adamは、ディープニューラルネットワークをトレーニングするための最も影響力のある適応アルゴリズムの1つです。 適応学習率の低下、大きなバッチサイズの採用など、既存のアプローチは、Adam型アルゴリズムの収束を促進しようとしている。 本稿では,履歴ベース学習率のパラメータにのみ依存する,代替的な簡易チェック条件を提案する。
  論文  参考訳（メタデータ） (2021-01-14T06:42:29Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)
• On the Trend-corrected Variant of Adaptive Stochastic Optimization Methods [30.084554989542475]
  本稿では,適応的なステップサイズと勾配でパラメータを更新する際のトレンド情報を備えたAdam型手法の新しいフレームワークを提案する。 我々は,従来のAdamおよびAMSGradメソッドを,複数の実世界のデータセットを持つ古典的モデル上で常に上回る,トレンドコンポーネントを追加することの重要性を実証的に示す。
  論文  参考訳（メタデータ） (2020-01-17T01:23:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。