論文の概要: NeuroEvoBench: Benchmarking Evolutionary Optimizers for Deep Learning Applications

• arxiv url: http://arxiv.org/abs/2311.02394v1
• Date: Sat, 4 Nov 2023 12:42:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 17:58:05.873994
• Title: NeuroEvoBench: Benchmarking Evolutionary Optimizers for Deep Learning Applications
• Title（参考訳）: NeuroEvoBench: ディープラーニングアプリケーションのための進化的最適化のベンチマーク
• Authors: Robert Tjarko Lange, Yujin Tang, Yingtao Tian
• Abstract要約: 我々は,ディープラーニングアプリケーションに適した進化的最適化手法(NeuroEvoBench)の新たなベンチマークを確立する。 本稿では,資源配分,適合性形成,正規化,正規化,EOのスケーラビリティといった科学的な問題について検討する。
• 参考スコア（独自算出の注目度）: 6.873777465945062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the Deep Learning community has become interested in evolutionary optimization (EO) as a means to address hard optimization problems, e.g. meta-learning through long inner loop unrolls or optimizing non-differentiable operators. One core reason for this trend has been the recent innovation in hardware acceleration and compatible software - making distributed population evaluations much easier than before. Unlike for gradient descent-based methods though, there is a lack of hyperparameter understanding and best practices for EO - arguably due to severely less 'graduate student descent' and benchmarking being performed for EO methods. Additionally, classical benchmarks from the evolutionary community provide few practical insights for Deep Learning applications. This poses challenges for newcomers to hardware-accelerated EO and hinders significant adoption. Hence, we establish a new benchmark of EO methods (NeuroEvoBench) tailored toward Deep Learning applications and exhaustively evaluate traditional and meta-learned EO. We investigate core scientific questions including resource allocation, fitness shaping, normalization, regularization & scalability of EO. The benchmark is open-sourced at https://github.com/neuroevobench/neuroevobench under Apache-2.0 license.
• Abstract（参考訳）: 近年、ディープラーニングコミュニティは、長いインナーループアンロールによるメタラーニングや非微分演算子の最適化など、ハード最適化問題に対処する手段として、進化的最適化(eo)に関心を寄せている。 このトレンドの主な理由は、最近ハードウェアアクセラレーションと互換性のあるソフトウェアが革新され、分散人口評価が以前よりもずっと簡単になったことだ。 しかし、勾配降下に基づく手法とは違って、EOのハイパーパラメータ理解とベストプラクティスが欠如している。 さらに、進化的コミュニティの古典的なベンチマークは、ディープラーニングアプリケーションに対する実践的な洞察をほとんど提供しません。 これは、新参者がハードウェアアクセラレーションのeoに挑戦し、大きな採用を妨げる。 そこで我々は,Deep Learningアプリケーションに適したEO手法(NeuroEvoBench)の新たなベンチマークを構築し,従来型およびメタ学習型EOを徹底的に評価する。 本稿では,資源配分,適合性形成,正規化,正規化,EOのスケーラビリティといった科学的な問題について検討する。 ベンチマークはApache-2.0ライセンス下でhttps://github.com/neuroevobench/neuroevobenchで公開されている。

関連論文リスト

• Can Learned Optimization Make Reinforcement Learning Less Difficult? [70.5036361852812]
  学習の最適化が強化学習の難しさを克服するのに役立つかどうかを検討する。 本稿では, 塑性, 探索および非定常性のための学習最適化手法(OPEN)を用いて, 入力特性と出力構造がこれらの困難に対して予め提案された情報によって通知される更新規則をメタラーニングする。
  論文  参考訳（メタデータ） (2024-07-09T17:55:23Z)
• An Invitation to Deep Reinforcement Learning [24.807012576054504]
  ターゲット目標を最大化するためにディープニューラルネットワークをトレーニングすることが、マシンラーニングの成功の標準的なレシピになっています。 共通目的として、連合(IoU)、二言語評価(BLEU)スコア、報酬は教師付き学習では最適化できない。 強化学習(Reinforcement Learning, RL)は、未分化の目的を最大化するために、ディープニューラルネットワークを最適化するための有望な代替手段として登場した。
  論文  参考訳（メタデータ） (2023-12-13T18:57:23Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation [17.165083095799712]
  本研究では,ループ内強化学習の文脈における少数ショット適応の問題について検討する。 そこで我々は,嗜好に基づくフィードバックによる迅速なポリシー適応を実現するメタRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-11-20T03:55:09Z)
• Analytically Tractable Bayesian Deep Q-Learning [0.0]
  我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。 我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
  論文  参考訳（メタデータ） (2021-06-21T13:11:52Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Hyper-Parameter Optimization: A Review of Algorithms and Applications [14.524227656147968]
  本稿では,自動ハイパーパラメータ最適化(HPO)における最も重要なトピックについて概説する。 この研究は主要な最適化アルゴリズムとその適用性に焦点を当て、特にディープラーニングネットワークの効率と精度をカバーしている。 本稿では,HPOをディープラーニングに適用する際の問題点,最適化アルゴリズムの比較,および限られた計算資源を用いたモデル評価における顕著なアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-03-12T10:12:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。