論文の概要: EvE: An Alternate Optimizer to Adam

• arxiv url: http://arxiv.org/abs/2609.35614v1
• Date: Mon, 28 Sep 2026 16:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:21:04.5911
• Title: EvE: An Alternate Optimizer to Adam
• Title（参考訳）: EvE: Adamの代替オプティマイザ
• Abstract要約: EvEは、アダムを標的とした定常な4つの微分勾配である。 EvEは、70セルの76%でAdamに勝利または結びつきを与える。 EvEは最終段階のトレーナーとしてのAdamの完全な代替ではなく、検索が重く予算が制約された体制の高速かつ勾配対応のプロキシである。
• 参考スコア（独自算出の注目度）: 1.9725597907780126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adam and its variants dominate neural network training, but a single run only reveals whether a configuration works well after most of its budget is spent, a poor fit for hyperparameter or architecture search, where configurations must be ranked cheaply and pruned early. We introduce EvE (Evolutionary Explorer), a steady-state, population-of-four differential evolution (DE) optimizer with a targeted Adam fallback: each iteration proposes one candidate via DE, running a short burst of gradient descent only if the DE step fails to improve on the incumbent. Selection is greedy, so on a deterministic objective the best-so-far value is provably monotone non-increasing, and since gradients are used only as a targeted rescue, per-iteration cost stays within a constant factor of a single Adam step regardless of dimension. Under a fixed, evaluation-cost-matched budget, EvE wins or ties Adam on 76% of 70 (problem, dimension) cells across seven scalable benchmarks up to one million variables. On three real neural-network tasks (an MLP on MNIST, and LoRA fine-tuning of a 1.5B-parameter language model on two datasets) EvE finishes the same charged budget 1.7-3.9x faster, at a modest cost in final quality (about one accuracy point on MNIST, 9-11% higher relative test loss on the two fine-tuning tasks; on GSM8K, Adam is about 5 accuracy points more accurate, and fine-tuning lowers accuracy below the base model for both). Inside successive halving on UCI Adult, EvE completes hyperparameter and architecture searches 3.1-3.5x faster, ranking configurations about as consistently with Adam as Adam does with itself across seeds (Kendall's tau 0.66-0.69). EvE is not a total replacement for Adam as a final-stage trainer, but a fast, gradient-aware proxy for the search-heavy, budget-constrained regime one level up.
• Abstract（参考訳）: Adam氏とその変種はニューラルネットワークのトレーニングを支配しているが、単一の実行では、ほとんどの予算が費やされた後に構成がうまく機能するか、ハイパーパラメータやアーキテクチャ検索に適さないか、設定を安価にランク付けし、早期に刈り取る必要があるかが分かる。 EvE(Evolutionary Explorer)は、Adamフォールバックをターゲットとした安定状態の4つの微分進化(DE)オプティマイザであり、各イテレーションはDを介して1つの候補を提案し、Dステップが現時点の改善に失敗した場合に限り、勾配降下の短いバーストを実行する。 選択は欲求的であり、決定論的目的において、最遠値が確実に単調な非増加であり、グラデーションは目標救助としてのみ使用されるため、寸法に関わらず、単段アダムステップの定数要素内に留まる。 固定された評価コストマッチングの予算の下では、EvEは最大100万変数までのスケーラブルな7つのベンチマークで70(確率、寸法)セルの76%でAdamを勝利または結び付けている。 3つの実際のニューラルネットワークタスク(MNIST上のMLPと2つのデータセット上の1.5Bパラメータ言語モデルのLoRAの微調整)では、EvEは同じチャージ予算1.7-3.9倍高速で最終品質(MNIST上の1つの精度ポイント、MNIST上の9-11%高い相対的なテスト損失、GSM8Kではアダムは5つの精度ポイントより正確で、両方のベースモデルよりも精度が低い)で終了する。 UCIアダルトでの連続的な半減期の中で、EvEはハイパーパラメーターを完了し、アーキテクチャーは3.1-3.5倍高速に検索し、アダムとアダムが種をまたいで行うのとほぼ同程度にランク付けする(ケンドールのTau 0.66-0.69)。 EvEは最終段階のトレーナーとしてのAdamの完全な代替ではなく、検索が重く予算が制約された体制の高速かつ勾配対応のプロキシである。

関連論文リスト

• Adaptive Runge-Kutta Step Control Buys Training Loss, Not Generalization: An Honest Compute-Matched Study of RK-Adam Optimizers [0.0]
  我々は代表的アダム変種(Bogacki-Shampine 3(2) RKペア、FSAL再利用、ローカルエラーステップ制御)を構築する。 我々は、全てのメソッドに同じ勾配評価予算を与える厳密な計算整合プロトコルで評価する。
  論文  参考訳（メタデータ） (2026-07-16T03:12:58Z)
• AdamS: Momentum Itself Can Be A Normalizer for LLM Pretraining and Post-training [22.58304858379219]
  我々は,大規模言語モデル(LLM)の事前学習とポストトレーニングのための,Adamの簡易かつ効果的な代替手段であるAdamSを紹介した。 新たな分母、すなわち運動量と現在の勾配の重み付き和の根を利用することにより、AdamSは第二モーメント推定の必要性を排除している。 AdamSは効率が良く、SGDのメモリと計算フットプリントと運動量とを一致させ、優れた最適化性能を提供する。
  論文  参考訳（メタデータ） (2025-05-22T08:16:48Z)
• When Can You Get Away with Low Memory Adam? [48.30892531847662]
  我々は、$textitSlimAdam$がAdamのパフォーマンスと安定性にマッチし、合計2回目で98%のコストを節約できることを示します。 code for $textitSlimAdam$はhttps://github.com/dayal-kalra/low-Memory-adamで入手できる。
  論文  参考訳（メタデータ） (2025-03-03T18:59:40Z)
• ADOPT: Modified Adam Can Converge with Any $β_2$ with the Optimal Rate [21.378608502899077]
  本稿では,ADOPTという新しい適応勾配法を提案する。これは,有界雑音の仮定に依存することなく,$mathcalOの最適収束率を実現する。 ADOPTは、画像分類、生成モデル、自然言語処理、深層強化学習など、幅広いタスクにおいて、Adamとその変種と比較して優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-11-05T06:57:47Z)
• Maximizing Communication Efficiency for Large-scale Training via 0/1 Adam [49.426602335460295]
  1ビット通信はモデルトレーニングのスケールアップに有効な手法であり、SGDで広く研究されている。 我々は2つの新しい手法により最先端の1ビットAdamを改善する0/1Adamを提案する。
  論文  参考訳（メタデータ） (2022-02-12T08:02:23Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。