論文の概要: AutoLR: An Evolutionary Approach to Learning Rate Policies
- arxiv url: http://arxiv.org/abs/2007.04223v1
- Date: Wed, 8 Jul 2020 16:03:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 09:46:12.142747
- Title: AutoLR: An Evolutionary Approach to Learning Rate Policies
- Title(参考訳): autolr: 学習率政策への進化的アプローチ
- Authors: Pedro Carvalho, Nuno Louren\c{c}o, Filipe Assun\c{c}\~ao, Penousal
Machado
- Abstract要約: この研究は、特定のニューラルネットワークアーキテクチャのためのラーニングレートスケジューリングを進化させるフレームワークであるAutoLRを提示する。
その結果, 確立された基準線よりも, 特定の政策を用いて実施した訓練が効率的であることが示唆された。
- 参考スコア(独自算出の注目度): 2.3577368017815705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The choice of a proper learning rate is paramount for good Artificial Neural
Network training and performance. In the past, one had to rely on experience
and trial-and-error to find an adequate learning rate. Presently, a plethora of
state of the art automatic methods exist that make the search for a good
learning rate easier. While these techniques are effective and have yielded
good results over the years, they are general solutions. This means the
optimization of learning rate for specific network topologies remains largely
unexplored. This work presents AutoLR, a framework that evolves Learning Rate
Schedulers for a specific Neural Network Architecture using Structured
Grammatical Evolution. The system was used to evolve learning rate policies
that were compared with a commonly used baseline value for learning rate.
Results show that training performed using certain evolved policies is more
efficient than the established baseline and suggest that this approach is a
viable means of improving a neural network's performance.
- Abstract(参考訳): 適切な学習率の選択は、優れたニューラルネットワークのトレーニングとパフォーマンスにとって最重要である。
これまでは、適切な学習率を見つけるためには、経験と試行錯誤に頼る必要があった。
現在では、優れた学習率の探索を容易にするような技術自動手法が多数存在する。
これらの手法は有効であり、長年にわたって良い結果をもたらしてきたが、一般的な解決策である。
つまり、特定のネットワークトポロジに対する学習率の最適化は、ほとんど未調査のままである。
本稿では,構造化文法進化を用いたニューラルネットワークアーキテクチャのための学習率スケジューラを進化させるフレームワークであるautolrを提案する。
このシステムは、一般的な学習率のベースライン値と比較された学習率ポリシーを発展させるために使用された。
その結果、ある進化したポリシーを用いたトレーニングは確立されたベースラインよりも効率的であり、このアプローチはニューラルネットワークのパフォーマンスを改善する有効な手段であることが示唆された。
関連論文リスト
- RLIF: Interactive Imitation Learning as Reinforcement Learning [61.14928315004026]
オフ・ポリティクス強化学習は、インタラクティブな模倣学習よりも近いが、潜在的にさらに実践的な仮定の下で、パフォーマンスを向上させることができる。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳(メタデータ) (2023-11-21T21:05:21Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳(メタデータ) (2023-03-17T02:01:11Z) - Evolving Learning Rate Optimizers for Deep Neural Networks [2.6498598849144472]
本稿では,学習率を自動的に設計するAutoLRというフレームワークを提案する。
システムの進化した分類器ADESは、斬新で革新的と思われるが、私たちの知る限りでは、最先端の手法とは異なる構造を持っている。
論文 参考訳(メタデータ) (2021-03-23T15:23:57Z) - Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。
私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。
CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
論文 参考訳(メタデータ) (2021-03-12T00:54:22Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳(メタデータ) (2020-10-01T15:59:31Z) - Meta-Gradient Reinforcement Learning with an Objective Discovered Online [54.15180335046361]
本稿では,深層ニューラルネットワークによって柔軟にパラメータ化される,自己目的のメタ段階的降下に基づくアルゴリズムを提案する。
目的はオンラインで発見されるため、時間とともに変化に適応することができる。
Atari Learning Environmentでは、メタグラディエントアルゴリズムが時間とともに適応して、より効率よく学習する。
論文 参考訳(メタデータ) (2020-07-16T16:17:09Z) - Deep Reinforcement Learning for Adaptive Learning Systems [4.8685842576962095]
学習者の潜在特性に基づいて,個別化学習計画の探索方法の問題点を定式化する。
最適な学習ポリシーを効果的に見つけることができるモデルフリーの深層強化学習アルゴリズムを適用した。
また,ニューラルネットワークを用いて学習者の学習過程をエミュレートする遷移モデル推定器を開発した。
論文 参考訳(メタデータ) (2020-04-17T18:04:03Z) - Applying Cyclical Learning Rate to Neural Machine Translation [6.715895949288471]
本稿では,ニューラルネットワークを用いたニューラルネットワークのニューラルネットワーク翻訳における循環学習率の適用方法を示す。
ニューラルネットワーク翻訳タスクに循環学習率を適用する際のガイドラインを確立する。
論文 参考訳(メタデータ) (2020-04-06T04:45:49Z) - Rethinking Few-Shot Image Classification: a Good Embedding Is All You
Need? [72.00712736992618]
メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。
追加の増量は自己蒸留によって達成できる。
我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
論文 参考訳(メタデータ) (2020-03-25T17:58:42Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z) - Biologically-Motivated Deep Learning Method using Hierarchical
Competitive Learning [0.0]
本稿では,CNNの事前学習方法として,前方伝播信号のみを必要とする教師なしの競争学習を導入することを提案する。
提案手法は,例えば時系列や医療データなど,ラベルの粗末なデータに対して有用である。
論文 参考訳(メタデータ) (2020-01-04T20:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。