論文の概要: Faster Improvement Rate Population Based Training
- arxiv url: http://arxiv.org/abs/2109.13800v1
- Date: Tue, 28 Sep 2021 15:30:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 14:39:22.491089
- Title: Faster Improvement Rate Population Based Training
- Title(参考訳): 改善率人口ベーストレーニングの高速化
- Authors: Valentin Dalibard, Max Jaderberg
- Abstract要約: 本稿では、人口ベーストレーニング(PBT)の問題に対処する高速改善率PBT(FIRE PBT)を提案する。
我々は、新しいフィットネス指標を導き、それを使って、一部の人口構成員が長期的なパフォーマンスに集中できるようにします。
実験の結果、FIRE PBTはImageNetベンチマークでPBTより優れており、手動学習率のスケジュールでトレーニングされたネットワークの性能と一致していることがわかった。
- 参考スコア(独自算出の注目度): 7.661301899629696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The successful training of neural networks typically involves careful and
time consuming hyperparameter tuning. Population Based Training (PBT) has
recently been proposed to automate this process. PBT trains a population of
neural networks concurrently, frequently mutating their hyperparameters
throughout their training. However, the decision mechanisms of PBT are greedy
and favour short-term improvements which can, in some cases, lead to poor
long-term performance. This paper presents Faster Improvement Rate PBT (FIRE
PBT) which addresses this problem. Our method is guided by an assumption: given
two neural networks with similar performance and training with similar
hyperparameters, the network showing the faster rate of improvement will lead
to a better final performance. Using this, we derive a novel fitness metric and
use it to make some of the population members focus on long-term performance.
Our experiments show that FIRE PBT is able to outperform PBT on the ImageNet
benchmark and match the performance of networks that were trained with a
hand-tuned learning rate schedule. We apply FIRE PBT to reinforcement learning
tasks and show that it leads to faster learning and higher final performance
than both PBT and random hyperparameter search.
- Abstract(参考訳): ニューラルネットワークのトレーニングの成功には、注意と時間を要するハイパーパラメータチューニングが一般的である。
人口ベーストレーニング(PBT)はこのプロセスを自動化するために最近提案されている。
pbtは複数のニューラルネットワークを同時にトレーニングし、トレーニングを通じてハイパーパラメータを頻繁に変更する。
しかし、pbtの決定機構は欲深く、短期的な改善を好んでおり、場合によっては長期的なパフォーマンスを損なうこともある。
本稿では,この問題に対処する高速改善率PBT(FIRE PBT)を提案する。
同様のパフォーマンスを持つ2つのニューラルネットワークと、同様のハイパーパラメータによるトレーニングが与えられた場合、より高速な改善率を示すネットワークにより、最終的なパフォーマンスが向上します。
これを利用することで、新しいフィットネス指標を導出し、一部の人口構成員が長期的なパフォーマンスに集中できるようにします。
実験の結果,FIRE PBT は ImageNet ベンチマークで PBT より優れており,手動学習率のスケジュールでトレーニングしたネットワークの性能と一致していることがわかった。
FIRE PBTを学習タスクの強化に適用し,PBTとランダムなハイパーパラメータ探索よりも高速な学習と最終性能を示す。
関連論文リスト
- Shrink-Perturb Improves Architecture Mixing during Population Based
Training for Neural Architecture Search [62.997667081978825]
ニューラルネットワークを同時にトレーニングし、混合することは、ニューラルネットワークサーチ(NAS)を実行するための有望な方法であることを示す。
PBT-NAS は PBT-NAS をNAS に適応させる手法であり,低性能なネットワークを個体群で置き換えることでアーキテクチャを改良し,良好な性能のネットワークを混合し,縮小パーターブ法を用いて重みを継承する手法を提案する。
論文 参考訳(メタデータ) (2023-07-28T15:29:52Z) - Towards Memory- and Time-Efficient Backpropagation for Training Spiking
Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。
本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。
BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文 参考訳(メタデータ) (2023-02-28T05:01:01Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳(メタデータ) (2022-10-09T07:47:56Z) - Test-time Batch Normalization [61.292862024903584]
ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。
トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。
本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
論文 参考訳(メタデータ) (2022-05-20T14:33:39Z) - Accurate online training of dynamical spiking neural networks through
Forward Propagation Through Time [1.8515971640245998]
最近開発されたBPTTの代替手段が、スパイクニューラルネットワークにどのように適用できるかを示す。
FPTTは、損失に対する動的に規則化されたリスクを最小化しようとする。
FPTTで訓練したSNNは、オンラインBPTT近似よりも優れており、時間的分類タスクにおいてオフラインBPTT精度に近づいたり、超えたりしている。
論文 参考訳(メタデータ) (2021-12-20T13:44:20Z) - Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。
線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
論文 参考訳(メタデータ) (2021-04-01T13:03:48Z) - How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文 参考訳(メタデータ) (2020-10-19T21:46:39Z) - Regularized Evolutionary Population-Based Training [11.624954122221562]
本稿では、DNNの重みのトレーニングと損失関数のメタラーニングをインターリーブするEPBT(Population-Based Training)アルゴリズムを提案する。
EPBTは画像分類ベンチマークを高速かつ正確に学習する。
論文 参考訳(メタデータ) (2020-02-11T06:28:13Z) - Provably Efficient Online Hyperparameter Optimization with
Population-Based Bandits [12.525529586816955]
提案手法は, 人口ベース帯域幅推定アルゴリズムを初めて提案する。
PB2は確率モデルを用いて探索を効率的に導く。
PB2 が計算予算を緩やかに抑えながら高い性能を達成できることを, 一連の RL 実験で示す。
論文 参考訳(メタデータ) (2020-02-06T21:27:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。