論文の概要: Evolving Learning Rate Optimizers for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2103.12623v1
• Date: Tue, 23 Mar 2021 15:23:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 02:05:27.748911
• Title: Evolving Learning Rate Optimizers for Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークのための学習速度最適化手法の進化
• Authors: Pedro Carvalho, Nuno Louren\c{c}o, Penousal Machado
• Abstract要約: 本稿では,学習率を自動的に設計するAutoLRというフレームワークを提案する。 システムの進化した分類器ADESは、斬新で革新的と思われるが、私たちの知る限りでは、最先端の手法とは異なる構造を持っている。
• 参考スコア（独自算出の注目度）: 2.6498598849144472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial Neural Networks (ANNs) became popular due to their successful application difficult problems such image and speech recognition. However, when practitioners want to design an ANN they need to undergo laborious process of selecting a set of parameters and topology. Currently, there are several state-of-the art methods that allow for the automatic selection of some of these aspects. Learning Rate optimizers are a set of such techniques that search for good values of learning rates. Whilst these techniques are effective and have yielded good results over the years, they are general solution i.e. they do not consider the characteristics of a specific network. We propose a framework called AutoLR to automatically design Learning Rate Optimizers. Two versions of the system are detailed. The first one, Dynamic AutoLR, evolves static and dynamic learning rate optimizers based on the current epoch and the previous learning rate. The second version, Adaptive AutoLR, evolves adaptive optimizers that can fine tune the learning rate for each network eeight which makes them generally more effective. The results are competitive with the best state of the art methods, even outperforming them in some scenarios. Furthermore, the system evolved a classifier, ADES, that appears to be novel and innovative since, to the best of our knowledge, it has a structure that differs from state of the art methods.
• Abstract（参考訳）: ニューラルネットワーク(anns)は、画像や音声認識といった応用が難しい問題に成功し、普及した。 しかしながら、実践者がANNを設計したい場合、パラメータとトポロジのセットを選択するという面倒なプロセスを実行する必要があります。 現在、これらのいくつかの側面を自動選択できる最先端の手法がいくつかある。 学習率オプティマイザは、学習率の優れた値を求める一連のテクニックである。 これらの手法は有効であり、長年にわたって良い結果をもたらしてきたが、それらは一般的な解であり、特定のネットワークの特性を考慮しない。 学習率オプティマイザを自動設計するautolrというフレームワークを提案する。 システムの詳細は2種類ある。 最初のDynamic AutoLRは、現在のエポックと以前の学習率に基づいて、静的および動的学習率最適化器を進化させる。 2番目のバージョンであるadaptive autolrは、各ネットワークeeightの学習率を微調整できる適応オプティマイザを進化させ、より効果的にする。 結果は、アートメソッドの最良の状態と競合し、いくつかのシナリオでそれらを上回っています。 さらに,本システムは,技術手法の状況と異なる構造を持つため,新奇で革新的と思われる分類器 ades を進化させた。

関連論文リスト

• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Optimizing Neural Networks through Activation Function Discovery and Automatic Weight Initialization [0.5076419064097734]
  より強力なアクティベーション関数を 発見する技術を紹介します ニューラルネットワークの最適化に関する新たな視点を提供する。 従って、論文は将来的に完全に自動化された機械学習へと具体的な進展をもたらす。
  論文  参考訳（メタデータ） (2023-04-06T21:01:00Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
  インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。 私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。 CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
  論文  参考訳（メタデータ） (2021-03-12T00:54:22Z)
• Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
  学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。 実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
  論文  参考訳（メタデータ） (2020-11-04T07:12:43Z)
• Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search [60.965024145243596]
  ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。 この問題を軽減するため, 単純で効果的な蒸留法を提案する。 本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。 優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
  論文  参考訳（メタデータ） (2020-10-29T17:55:05Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• AutoLR: An Evolutionary Approach to Learning Rate Policies [2.3577368017815705]
  この研究は、特定のニューラルネットワークアーキテクチャのためのラーニングレートスケジューリングを進化させるフレームワークであるAutoLRを提示する。 その結果, 確立された基準線よりも, 特定の政策を用いて実施した訓練が効率的であることが示唆された。
  論文  参考訳（メタデータ） (2020-07-08T16:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。