論文の概要: EXAdam: The Power of Adaptive Cross-Moments

• arxiv url: http://arxiv.org/abs/2412.20302v1
• Date: Sun, 29 Dec 2024 00:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:58.711966
• Title: EXAdam: The Power of Adaptive Cross-Moments
• Title（参考訳）: EXAdam: 適応型クロスモーメントのパワー
• Authors: Ahmed M. Adly,
• Abstract要約: 本稿では,広く使用されているAdamAdamアルゴリズムに基づく新しい最適化アルゴリズムであるEXAdamを紹介する。 EXAdamには、(1)モーメント推定を改善するための新しいデバイアス項、(2)勾配に基づく加速度機構、(3)動的ステップサイズ公式の3つの重要な拡張が含まれている。 EXAdamはAdamよりも優れており、48.07%の高速化と4.6%、4.13%、そして2.39%の改善を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper introduces EXAdam ($\textbf{EX}$tended $\textbf{Adam}$), a novel optimization algorithm that builds upon the widely-used Adam optimizer. EXAdam incorporates three key enhancements: (1) new debiasing terms for improved moment estimation, (2) a gradient-based acceleration mechanism for increased responsiveness to the current loss landscape, and (3) a dynamic step size formula that allows for continuous growth of the learning rate throughout training. These innovations work synergistically to address limitations of the original Adam algorithm, potentially offering improved convergence properties, enhanced ability to escape saddle points, and greater robustness to hyperparameter choices. I provide a theoretical analysis of EXAdam's components and their interactions, highlighting the algorithm's potential advantages in navigating complex optimization landscapes. Empirical evaluations demonstrate EXAdam's superiority over Adam, achieving 48.07% faster convergence and yielding improvements of 4.6%, 4.13%, and 2.39% in training, validation, and testing accuracies, respectively, when applied to a CNN trained on the CIFAR-10 dataset. While these results are promising, further empirical validation across diverse tasks is essential to fully gauge EXAdam's efficacy. Nevertheless, EXAdam represents a significant advancement in adaptive optimization techniques, with promising implications for a wide range of machine learning applications. This work aims to contribute to the ongoing development of more efficient, adaptive, and universally applicable optimization methods in the field of machine learning and artificial intelligence.
• Abstract（参考訳）: 本稿では,広く使用されているAdamオプティマイザに基づく新しい最適化アルゴリズムであるEXAdam ($\textbf{EX}$tended $\textbf{Adam}$を紹介する。 EXAdamは,(1)モーメント推定を改善するための新しいデバイアス項,(2)現在のロスランドスケープに対する応答性を高める勾配に基づく加速度機構,(3)トレーニングを通して学習率の連続的な成長を可能にする動的ステップサイズ式,の3つの重要な拡張を取り入れている。 これらの革新は、元のAdamアルゴリズムの限界に対応するために相乗的に機能し、改善された収束特性、サドルポイントを逃れる能力の強化、ハイパーパラメータの選択に対するロバスト性の向上を提供する。 EXAdamのコンポーネントとその相互作用に関する理論的分析を行い、複雑な最適化ランドスケープをナビゲートするアルゴリズムの潜在的な利点を強調した。 実験的な評価は、CIFAR-10データセットでトレーニングされたCNNに適用した場合、ExAdamがAdamよりも優れており、48.07%の高速化と4.6%、4.13%、および2.39%の改善を実現していることを示している。 これらの結果は有望であるが、ExAdamの有効性を十分に評価するためには、多様なタスクにわたるさらなる実証的検証が不可欠である。 しかしながら、EXAdamは適応最適化技術の大幅な進歩を示し、幅広い機械学習アプリケーションに有望な意味を持つ。 この研究は、機械学習と人工知能の分野において、より効率的で適応的で普遍的に適用可能な最適化手法の開発に寄与することを目的としている。

関連論文リスト

• AdamZ: An Enhanced Optimisation Method for Neural Network Training [1.54994260281059]
  AdamZは、オーバーシューティングと停滞に対処するメカニズムを組み込むことで、学習率を動的に調整する。 損失関数の最小化に一貫して優れており、精度が重要なアプリケーションに特に有利である。
  論文  参考訳（メタデータ） (2024-11-22T23:33:41Z)
• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。 本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Continuous-Time Analysis of Adaptive Optimization and Normalization [5.954511401622424]
  適応最適化アルゴリズム、特にAdamとその変種AdamWは、現代のディープラーニングの基本コンポーネントである。 この研究は、AdamとAdamWの連続的な時間的定式化を示し、トレーニングダイナミクスの抽出可能な解析を容易にする。
  論文  参考訳（メタデータ） (2024-11-08T18:07:55Z)
• Deconstructing What Makes a Good Optimizer for Language Models [7.9224468703944115]
  SGD,Adafactor,Adam,Lionなどの最適化アルゴリズムを自己回帰言語モデリングの文脈で比較する。 以上の結果から,SGDを除いて,これらのアルゴリズムは最適性能の両立が可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:11:40Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• HUB: Guiding Learned Optimizers with Continuous Prompt Tuning [45.662334160254176]
  学習はメタ学習の重要な要素である。 スケーラブルな学習の最近の進歩は、様々なタスクにおいて手作業よりも優れたパフォーマンスを示している。 本稿では,スケーラブルな学習における一般化問題に対処するため,ハイブリッド更新ベース(HUB)最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T11:08:20Z)
• On Suppressing Range of Adaptive Stepsizes of Adam to Improve Generalisation Performance [2.71467552808655]
  我々はAdamの適応段差の範囲を抑えるために階層統計を利用する。 結果のアルゴリズムはSET-Adamと呼ばれ、SETは3つの操作の簡単な表記法である。 SET-Adamは、ImageNet上でResNet18をトレーニングするためにAdamやAdaBeliefよりも高い検証精度を生成する。
  論文  参考訳（メタデータ） (2023-02-02T11:46:23Z)
• How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
  我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。 我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
  論文  参考訳（メタデータ） (2021-06-21T17:59:51Z)
• Improving Auto-Augment via Augmentation-Wise Weight Sharing [123.71986174280741]
  自動拡張検索の重要な要素は、特定の拡張ポリシーの評価プロセスである。 本稿では,モデルの強化トレーニングのダイナミクスについて検討する。 我々は,Augmentation-Wise Weight Sharing (AWS)に基づいて,高速かつ高精度な評価プロセスを構築するために,強力で効率的なプロキシタスクを設計する。
  論文  参考訳（メタデータ） (2020-09-30T15:23:12Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。