論文の概要: Faster Improvement Rate Population Based Training

• arxiv url: http://arxiv.org/abs/2109.13800v1
• Date: Tue, 28 Sep 2021 15:30:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-29 14:39:22.491089
• Title: Faster Improvement Rate Population Based Training
• Title（参考訳）: 改善率人口ベーストレーニングの高速化
• Authors: Valentin Dalibard, Max Jaderberg
• Abstract要約: 本稿では、人口ベーストレーニング(PBT)の問題に対処する高速改善率PBT(FIRE PBT)を提案する。 我々は、新しいフィットネス指標を導き、それを使って、一部の人口構成員が長期的なパフォーマンスに集中できるようにします。 実験の結果、FIRE PBTはImageNetベンチマークでPBTより優れており、手動学習率のスケジュールでトレーニングされたネットワークの性能と一致していることがわかった。
• 参考スコア（独自算出の注目度）: 7.661301899629696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The successful training of neural networks typically involves careful and time consuming hyperparameter tuning. Population Based Training (PBT) has recently been proposed to automate this process. PBT trains a population of neural networks concurrently, frequently mutating their hyperparameters throughout their training. However, the decision mechanisms of PBT are greedy and favour short-term improvements which can, in some cases, lead to poor long-term performance. This paper presents Faster Improvement Rate PBT (FIRE PBT) which addresses this problem. Our method is guided by an assumption: given two neural networks with similar performance and training with similar hyperparameters, the network showing the faster rate of improvement will lead to a better final performance. Using this, we derive a novel fitness metric and use it to make some of the population members focus on long-term performance. Our experiments show that FIRE PBT is able to outperform PBT on the ImageNet benchmark and match the performance of networks that were trained with a hand-tuned learning rate schedule. We apply FIRE PBT to reinforcement learning tasks and show that it leads to faster learning and higher final performance than both PBT and random hyperparameter search.
• Abstract（参考訳）: ニューラルネットワークのトレーニングの成功には、注意と時間を要するハイパーパラメータチューニングが一般的である。 人口ベーストレーニング(PBT)はこのプロセスを自動化するために最近提案されている。 pbtは複数のニューラルネットワークを同時にトレーニングし、トレーニングを通じてハイパーパラメータを頻繁に変更する。 しかし、pbtの決定機構は欲深く、短期的な改善を好んでおり、場合によっては長期的なパフォーマンスを損なうこともある。 本稿では,この問題に対処する高速改善率PBT(FIRE PBT)を提案する。 同様のパフォーマンスを持つ2つのニューラルネットワークと、同様のハイパーパラメータによるトレーニングが与えられた場合、より高速な改善率を示すネットワークにより、最終的なパフォーマンスが向上します。 これを利用することで、新しいフィットネス指標を導出し、一部の人口構成員が長期的なパフォーマンスに集中できるようにします。 実験の結果,FIRE PBT は ImageNet ベンチマークで PBT より優れており,手動学習率のスケジュールでトレーニングしたネットワークの性能と一致していることがわかった。 FIRE PBTを学習タスクの強化に適用し,PBTとランダムなハイパーパラメータ探索よりも高速な学習と最終性能を示す。

関連論文リスト

• Simultaneous Training of First- and Second-Order Optimizers in Population-Based Reinforcement Learning [0.0]
  人口ベーストレーニング(PBT)は、トレーニング全体を通してハイパーパラメータを継続的にチューニングすることで、これを実現する方法を提供する。 本稿では,単一個体群内における第1次と第2次の両方を同時に活用することにより,PBTの強化を提案する。
  論文  参考訳（メタデータ） (2024-08-27T21:54:26Z)
• Generalized Population-Based Training for Hyperparameter Optimization in Reinforcement Learning [10.164982368785854]
  一般人口ベーストレーニング(GPBT)とペアワイズ学習(PL) PLは、パフォーマンスの差を識別し、パフォーマンスの低いエージェントに対する全体的なガイダンスを提供するために、包括的なペアワイズ戦略を採用している。
  論文  参考訳（メタデータ） (2024-04-12T04:23:20Z)
• Efficient Stagewise Pretraining via Progressive Subnetworks [53.00045381931778]
  一般的な見方では、レイヤのドロップのような段階的なドロップ戦略は、スタック方式のアプローチと比べて効果がない。 本稿では, 適切な設計で, 戦略の廃止は, 積み重ね手法よりも競争力があることを示すことによって, この概念に挑戦する。 本稿では,各ステップでランダムサブネットワークのみを選択し,訓練し,段階的に拡大するランダムパートトレーニング(RAPTR)を提案する。
  論文  参考訳（メタデータ） (2024-02-08T18:49:09Z)
• Shrink-Perturb Improves Architecture Mixing during Population Based Training for Neural Architecture Search [62.997667081978825]
  ニューラルネットワークを同時にトレーニングし、混合することは、ニューラルネットワークサーチ(NAS)を実行するための有望な方法であることを示す。 PBT-NAS は PBT-NAS をNAS に適応させる手法であり,低性能なネットワークを個体群で置き換えることでアーキテクチャを改良し,良好な性能のネットワークを混合し,縮小パーターブ法を用いて重みを継承する手法を提案する。
  論文  参考訳（メタデータ） (2023-07-28T15:29:52Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Test-time Batch Normalization [61.292862024903584]
  ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。 トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。 本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
  論文  参考訳（メタデータ） (2022-05-20T14:33:39Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)
• Regularized Evolutionary Population-Based Training [11.624954122221562]
  本稿では、DNNの重みのトレーニングと損失関数のメタラーニングをインターリーブするEPBT(Population-Based Training)アルゴリズムを提案する。 EPBTは画像分類ベンチマークを高速かつ正確に学習する。
  論文  参考訳（メタデータ） (2020-02-11T06:28:13Z)
• Provably Efficient Online Hyperparameter Optimization with Population-Based Bandits [12.525529586816955]
  提案手法は, 人口ベース帯域幅推定アルゴリズムを初めて提案する。 PB2は確率モデルを用いて探索を効率的に導く。 PB2 が計算予算を緩やかに抑えながら高い性能を達成できることを, 一連の RL 実験で示す。
  論文  参考訳（メタデータ） (2020-02-06T21:27:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。