論文の概要: Genealogical Population-Based Training for Hyperparameter Optimization
- arxiv url: http://arxiv.org/abs/2109.14925v1
- Date: Thu, 30 Sep 2021 08:49:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 14:47:53.460330
- Title: Genealogical Population-Based Training for Hyperparameter Optimization
- Title（参考訳）: 超パラメータ最適化のための系譜的集団ベーストレーニング
- Authors: Scardigli Antoine and Fournier Paul and Vilucchio Matteo and Naccache
David
- Abstract要約: 我々はGPBT(Genealogical Population-Based Training)と呼ばれる新しい手法を提案する。
GPBTは、速度と性能の点で試験された全ての教師あり学習実験において、HP最適化の他の全てのアプローチよりも大幅に優れている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter optimization aims at finding more rapidly and efficiently the
best hyperparameters (HPs) of learning models such as neural networks. In this
work, we present a new approach called GPBT (Genealogical Population-Based
Training), which shares many points with Population-Based Training: our
approach outputs a schedule of HPs and updates both weights and HPs in a single
run, but brings several novel contributions: the choice of new HPs is made by a
modular search algorithm, the search algorithm can search HPs independently for
models with different weights and can exploit separately the maximum amount of
meaningful information (genealogically-related) from previous HPs evaluations
instead of exploiting together all previous HPs evaluations, a variation of
early stopping allows a 2-3 fold acceleration at small performance cost. GPBT
significantly outperforms all other approaches of HP Optimization, on all
supervised learning experiments tested in terms of speed and performances. HPs
tuning will become less computationally expensive using our approach, not only
in the deep learning field, but potentially for all processes based on
iterative optimization.
- Abstract（参考訳）: ハイパーパラメータ最適化は、ニューラルネットワークのような学習モデルの最良のハイパーパラメータ(hps)をより迅速かつ効率的に見つけることを目的としている。
In this work, we present a new approach called GPBT (Genealogical Population-Based Training), which shares many points with Population-Based Training: our approach outputs a schedule of HPs and updates both weights and HPs in a single run, but brings several novel contributions: the choice of new HPs is made by a modular search algorithm, the search algorithm can search HPs independently for models with different weights and can exploit separately the maximum amount of meaningful information (genealogically-related) from previous HPs evaluations instead of exploiting together all previous HPs evaluations, a variation of early stopping allows a 2-3 fold acceleration at small performance cost.
GPBTは、速度と性能の点で試験された全ての教師あり学習実験において、HP Optimizationの他の全てのアプローチよりも大幅に優れている。
HPのチューニングは、ディープラーニングの分野だけでなく、反復最適化に基づく全プロセスに対しても、我々のアプローチにより、計算コストが低下する。
関連論文リスト
- A Comparative Study of Hyperparameter Tuning Methods [0.0]
木構造型Parzen Estimator (TPE)、遺伝的検索、ランダム検索は回帰および分類タスク間で評価される。
ランダム検索は回帰タスクに優れ、TPEは分類タスクに効果的であった。
論文 参考訳（メタデータ） (2024-08-29T10:35:07Z) - A Reinforcement Learning-assisted Genetic Programming Algorithm for Team
Formation Problem Considering Person-Job Matching [70.28786574064694]
解の質を高めるために強化学習支援遺伝的プログラミングアルゴリズム(RL-GP)を提案する。
効率的な学習を通じて得られる超ヒューリスティックなルールは、プロジェクトチームを形成する際の意思決定支援として利用することができる。
論文 参考訳（メタデータ） (2023-04-08T14:32:12Z) - Enhancing Machine Learning Model Performance with Hyper Parameter
Optimization: A Comparative Study [0.0]
機械学習における最も重要な問題のひとつは、トレーニングモデルに適切なハイパーパラメータの選択である。
ハイパーパラメータ最適化(HPO)は、人工知能研究が最近注目している話題である。
本研究では,グリッドやランダム探索,ベイズ最適化などの古典的手法,遺伝的アルゴリズムや粒子群最適化といった人口ベースアルゴリズムについて論じる。
論文 参考訳（メタデータ） (2023-02-14T10:12:10Z) - Massively Parallel Genetic Optimization through Asynchronous Propagation
of Populations [50.591267188664666]
Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。
提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。
Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
論文 参考訳（メタデータ） (2023-01-20T18:17:34Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Tuning Mixed Input Hyperparameters on the Fly for Efficient Population
Based AutoRL [12.135280422000635]
連続変数とカテゴリー変数の両方を最適化する新しい効率的な階層的アプローチを導入する。
データ拡張と他のハイパーパラメータ間の依存を明示的にモデル化することで、一般化が向上することを示す。
論文 参考訳（メタデータ） (2021-06-30T08:15:59Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳（メタデータ） (2021-01-08T18:55:07Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Practical and sample efficient zero-shot HPO [8.41866793161234]
利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。
1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。
2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
論文 参考訳（メタデータ） (2020-07-27T08:56:55Z) - Efficient Model-Based Reinforcement Learning through Optimistic Policy
Search and Planning [93.1435980666675]
最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。
我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
論文 参考訳（メタデータ） (2020-06-15T18:37:38Z) - Hypernetwork-Based Augmentation [1.6752182911522517]
我々はHypernetwork-based Augmentation (HBA)と呼ばれる効率的な勾配に基づく探索アルゴリズムを提案する。
私たちのHBAはハイパーネットワークを使って人口ベーストレーニングアルゴリズムを近似します。
以上の結果から,HBAは検索速度と精度の両面で最先端の手法と競合することが示された。
論文 参考訳（メタデータ） (2020-06-11T10:36:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。