論文の概要: Practical and sample efficient zero-shot HPO
- arxiv url: http://arxiv.org/abs/2007.13382v1
- Date: Mon, 27 Jul 2020 08:56:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 07:45:00.626283
- Title: Practical and sample efficient zero-shot HPO
- Title（参考訳）: ゼロショットHPOの実用化と試料化
- Authors: Fela Winkelmolen, Nikita Ivkin, H. Furkan Bozkurt, Zohar Karnin
- Abstract要約: 利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。
1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。
2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
- 参考スコア（独自算出の注目度）: 8.41866793161234
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Zero-shot hyperparameter optimization (HPO) is a simple yet effective use of
transfer learning for constructing a small list of hyperparameter (HP)
configurations that complement each other. That is to say, for any given
dataset, at least one of them is expected to perform well. Current techniques
for obtaining this list are computationally expensive as they rely on running
training jobs on a diverse collection of datasets and a large collection of
randomly drawn HPs. This cost is especially problematic in environments where
the space of HPs is regularly changing due to new algorithm versions, or
changing architectures of deep networks. We provide an overview of available
approaches and introduce two novel techniques to handle the problem. The first
is based on a surrogate model and adaptively chooses pairs of dataset,
configuration to query. The second, for settings where finding, tuning and
testing a surrogate model is problematic, is a multi-fidelity technique
combining HyperBand with submodular optimization. We benchmark our methods
experimentally on five tasks (XGBoost, LightGBM, CatBoost, MLP and AutoML) and
show significant improvement in accuracy compared to standard zero-shot HPO
with the same training budget. In addition to contributing new algorithms, we
provide an extensive study of the zero-shot HPO technique resulting in (1)
default hyper-parameters for popular algorithms that would benefit the
community using them, (2) massive lookup tables to further the research of
hyper-parameter tuning.
- Abstract（参考訳）: ゼロショットハイパーパラメータ最適化 (zero-shot hyperparameter optimization, hpo) は、互いに補完する少数のハイパーパラメータ(hp)構成を構築するための、転送学習の単純かつ効果的な利用法である。
つまり、任意のデータセットに対して、少なくとも1つのデータセットがうまく機能することを期待しています。
このリストを得るための現在の技術は、さまざまなデータセットと無作為に描画されたHPの大規模なコレクションでトレーニングジョブを実行することに依存するため、計算コストが高い。
このコストは、新しいアルゴリズムのバージョンやディープネットワークのアーキテクチャの変更によってHPの空間が定期的に変化している環境で特に問題となる。
利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。
1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。
2つ目は、サーロゲートモデルの探索、チューニング、テストが問題となるような設定の場合、ハイパーバンドとサブモジュラー最適化を組み合わせたマルチフィデリティ技術である。
我々は,提案手法を5つのタスク(XGBoost, LightGBM, CatBoost, MLP, AutoML)で実験的に評価し,同じトレーニング予算を持つ標準ゼロショットHPOと比較して精度が大幅に向上したことを示す。
提案手法は,新しいアルゴリズムの寄与に加えて,(1)一般のアルゴリズムに対するデフォルトのハイパーパラメーターを有効活用するゼロショットHPO手法の広範な研究,(2)高パラメータチューニングの研究をさらに進めるために,大規模なルックアップテーブルを提供する。
関連論文リスト
- Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset [0.15420205433587747]
計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。
我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
論文 参考訳（メタデータ） (2023-02-08T02:38:26Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳（メタデータ） (2022-07-07T04:42:54Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。
私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
論文 参考訳（メタデータ） (2022-01-17T14:49:36Z) - Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。
本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
論文 参考訳（メタデータ） (2021-09-30T08:49:41Z) - Hyperparameter Optimization: Foundations, Algorithms, Best Practices and
Open Challenges [5.139260825952818]
本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。
HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
論文 参考訳（メタデータ） (2021-07-13T04:55:47Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳（メタデータ） (2021-01-17T04:55:30Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳（メタデータ） (2020-06-03T08:53:48Z) - HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。
生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。
既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
論文 参考訳（メタデータ） (2020-05-21T08:56:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。