論文の概要: Evolving Deep Learning Optimizers

• arxiv url: http://arxiv.org/abs/2512.11853v1
• Date: Fri, 05 Dec 2025 01:30:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-21 14:22:08.72688
• Title: Evolving Deep Learning Optimizers
• Title（参考訳）: ディープラーニング最適化の進化
• Authors: Mitchell Marfinetz,
• Abstract要約: 本稿では,ディープラーニング最適化アルゴリズムの発見のための遺伝的アルゴリズムフレームワークを提案する。 我々のアプローチは、プリミティブ更新項の組み合わせを指定するゲノムを符号化する。 アダムを2.6%上回る進化が見られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a genetic algorithm framework for automatically discovering deep learning optimization algorithms. Our approach encodes optimizers as genomes that specify combinations of primitive update terms (gradient, momentum, RMS normalization, Adam-style adaptive terms, and sign-based updates) along with hyperparameters and scheduling options. Through evolutionary search over 50 generations with a population of 50 individuals, evaluated across multiple vision tasks, we discover an evolved optimizer that outperforms Adam by 2.6% in aggregate fitness and achieves a 7.7% relative improvement on CIFAR-10. The evolved optimizer combines sign-based gradient terms with adaptive moment estimation, uses lower momentum coefficients than Adam ($β_1$=0.86, $β_2$=0.94), and notably disables bias correction while enabling learning rate warmup and cosine decay. Our results demonstrate that evolutionary search can discover competitive optimization algorithms and reveal design principles that differ from hand-crafted optimizers. Code is available at https://github.com/mmarfinetz/evo-optimizer.
• Abstract（参考訳）: 本稿では,ディープラーニング最適化アルゴリズムの自動発見のための遺伝的アルゴリズムフレームワークを提案する。 我々のアプローチは、ハイパーパラメータとスケジューリングオプションとともに、プリミティブ更新項(段階的、運動量、RMS正規化、アダムスタイル適応項、サインベース更新)の組み合わせを指定するゲノムとしてオプティマイザをエンコードする。 人口50人以上の50世代にわたる進化的探索を通じて、複数の視覚タスクで評価され、アダムを2.6%上回り、CIFAR-10の相対的な改善を7.7%達成する進化したオプティマイザが発見された。 進化したオプティマイザは、符号ベースの勾配項と適応モーメント推定を組み合わせたもので、アダム(β_1$=0.86, $β_2$=0.94)よりも運動量係数が低い。 この結果から,進化的探索は,手作りの最適化アルゴリズムと異なる設計原理を明らかにすることができることがわかった。 コードはhttps://github.com/mmarfinetz/evo-optimizer.comで入手できる。

関連論文リスト

• Quantum Time-Series Learning with Evolutionary Algorithms [0.0]
  変分量子回路は量子コンピューティングにおいて重要な方法である。 本稿では,このような最適化のための進化的アルゴリズムの利用,特に時系列予測について検討する。
  論文  参考訳（メタデータ） (2024-12-23T13:53:35Z)
• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.67982828148859]
  深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。 我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。 その結果,MARSの実装はAdamより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Adaptive Friction in Deep Learning: Enhancing Optimizers with Sigmoid and Tanh Function [0.0]
  我々は適応摩擦係数を統合する2つの新しい勾配であるsigSignGradとtanhSignGradを紹介する。 我々の理論解析は,摩擦係数Sの広帯域調整能力を示す。 ResNet50 と ViT アーキテクチャを用いた CIFAR-10, Mini-Image-Net 実験により,提案手法の優れた性能が確認された。
  論文  参考訳（メタデータ） (2024-08-07T03:20:46Z)
• Frog-Snake prey-predation Relationship Optimization (FSRO) : A novel nature-inspired metaheuristic algorithm for feature selection [0.0]
  本研究では,Frog-Snake prey-predation Relationship Optimization (FSRO)アルゴリズムを提案する。 カエルとヘビの捕食関係から着想を得て、離散最適化問題に適用した。 提案アルゴリズムは26種類の機械学習データセットを用いて特徴選択に関する計算実験を行う。
  論文  参考訳（メタデータ） (2024-02-13T06:39:15Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
  我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。 我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
  論文  参考訳（メタデータ） (2023-07-02T18:16:06Z)
• Massively Parallel Genetic Optimization through Asynchronous Propagation of Populations [50.591267188664666]
  Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。 提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。 Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
  論文  参考訳（メタデータ） (2023-01-20T18:17:34Z)
• An efficient hybrid classification approach for COVID-19 based on Harris Hawks Optimization and Salp Swarm Optimization [0.0]
  本研究では、Covid-19分類のためのHarris Hawks Optimization Algorithm(HHO)とSalp Swarm Optimization(SSA)のハイブリッドバイナリバージョンを提案する。 提案アルゴリズム(HHOSSA)は,SVMで96%の精度,2つの分類器で98%,98%の精度を達成した。
  論文  参考訳（メタデータ） (2022-12-25T19:52:18Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• The Implicit Bias for Adaptive Optimization Algorithms on Homogeneous Neural Networks [21.63353575405414]
  同質ニューラルネットワークにおける適応最適化アルゴリズムの暗黙バイアスについて検討する。 非線形深部ニューラルネットワークにおける適応最適化の収束方向を研究する最初の研究である。
  論文  参考訳（メタデータ） (2020-12-11T11:15:32Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。