論文の概要: AutoLR: An Evolutionary Approach to Learning Rate Policies

• arxiv url: http://arxiv.org/abs/2007.04223v1
• Date: Wed, 8 Jul 2020 16:03:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 09:46:12.142747
• Title: AutoLR: An Evolutionary Approach to Learning Rate Policies
• Title（参考訳）: autolr: 学習率政策への進化的アプローチ
• Authors: Pedro Carvalho, Nuno Louren\c{c}o, Filipe Assun\c{c}\~ao, Penousal Machado
• Abstract要約: この研究は、特定のニューラルネットワークアーキテクチャのためのラーニングレートスケジューリングを進化させるフレームワークであるAutoLRを提示する。 その結果, 確立された基準線よりも, 特定の政策を用いて実施した訓練が効率的であることが示唆された。
• 参考スコア（独自算出の注目度）: 2.3577368017815705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The choice of a proper learning rate is paramount for good Artificial Neural Network training and performance. In the past, one had to rely on experience and trial-and-error to find an adequate learning rate. Presently, a plethora of state of the art automatic methods exist that make the search for a good learning rate easier. While these techniques are effective and have yielded good results over the years, they are general solutions. This means the optimization of learning rate for specific network topologies remains largely unexplored. This work presents AutoLR, a framework that evolves Learning Rate Schedulers for a specific Neural Network Architecture using Structured Grammatical Evolution. The system was used to evolve learning rate policies that were compared with a commonly used baseline value for learning rate. Results show that training performed using certain evolved policies is more efficient than the established baseline and suggest that this approach is a viable means of improving a neural network's performance.
• Abstract（参考訳）: 適切な学習率の選択は、優れたニューラルネットワークのトレーニングとパフォーマンスにとって最重要である。 これまでは、適切な学習率を見つけるためには、経験と試行錯誤に頼る必要があった。 現在では、優れた学習率の探索を容易にするような技術自動手法が多数存在する。 これらの手法は有効であり、長年にわたって良い結果をもたらしてきたが、一般的な解決策である。 つまり、特定のネットワークトポロジに対する学習率の最適化は、ほとんど未調査のままである。 本稿では,構造化文法進化を用いたニューラルネットワークアーキテクチャのための学習率スケジューラを進化させるフレームワークであるautolrを提案する。 このシステムは、一般的な学習率のベースライン値と比較された学習率ポリシーを発展させるために使用された。 その結果、ある進化したポリシーを用いたトレーニングは確立されたベースラインよりも効率的であり、このアプローチはニューラルネットワークのパフォーマンスを改善する有効な手段であることが示唆された。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Evolving Learning Rate Optimizers for Deep Neural Networks [2.6498598849144472]
  本稿では,学習率を自動的に設計するAutoLRというフレームワークを提案する。 システムの進化した分類器ADESは、斬新で革新的と思われるが、私たちの知る限りでは、最先端の手法とは異なる構造を持っている。
  論文  参考訳（メタデータ） (2021-03-23T15:23:57Z)
• Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
  インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。 私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。 CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
  論文  参考訳（メタデータ） (2021-03-12T00:54:22Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Deep Reinforcement Learning for Adaptive Learning Systems [4.8685842576962095]
  学習者の潜在特性に基づいて,個別化学習計画の探索方法の問題点を定式化する。 最適な学習ポリシーを効果的に見つけることができるモデルフリーの深層強化学習アルゴリズムを適用した。 また,ニューラルネットワークを用いて学習者の学習過程をエミュレートする遷移モデル推定器を開発した。
  論文  参考訳（メタデータ） (2020-04-17T18:04:03Z)
• Applying Cyclical Learning Rate to Neural Machine Translation [6.715895949288471]
  本稿では,ニューラルネットワークを用いたニューラルネットワークのニューラルネットワーク翻訳における循環学習率の適用方法を示す。 ニューラルネットワーク翻訳タスクに循環学習率を適用する際のガイドラインを確立する。
  論文  参考訳（メタデータ） (2020-04-06T04:45:49Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)
• Biologically-Motivated Deep Learning Method using Hierarchical Competitive Learning [0.0]
  本稿では,CNNの事前学習方法として,前方伝播信号のみを必要とする教師なしの競争学習を導入することを提案する。 提案手法は,例えば時系列や医療データなど,ラベルの粗末なデータに対して有用である。
  論文  参考訳（メタデータ） (2020-01-04T20:07:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。