論文の概要: A Comparative study of Hyper-Parameter Optimization Tools
- arxiv url: http://arxiv.org/abs/2201.06433v1
- Date: Mon, 17 Jan 2022 14:49:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 10:13:02.502223
- Title: A Comparative study of Hyper-Parameter Optimization Tools
- Title（参考訳）: ハイパーパラメータ最適化ツールの比較研究
- Authors: Shashank Shekhar, Adesh Bansode, Asif Salim
- Abstract要約: 我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。
私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
- 参考スコア（独自算出の注目度）: 2.6097538974670935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most of the machine learning models have associated hyper-parameters along
with their parameters. While the algorithm gives the solution for parameters,
its utility for model performance is highly dependent on the choice of
hyperparameters. For a robust performance of a model, it is necessary to find
out the right hyper-parameter combination. Hyper-parameter optimization (HPO)
is a systematic process that helps in finding the right values for them. The
conventional methods for this purpose are grid search and random search and
both methods create issues in industrial-scale applications. Hence a set of
strategies have been recently proposed based on Bayesian optimization and
evolutionary algorithm principles that help in runtime issues in a production
environment and robust performance. In this paper, we compare the performance
of four python libraries, namely Optuna, Hyper-opt, Optunity, and sequential
model-based algorithm configuration (SMAC) that has been proposed for
hyper-parameter optimization. The performance of these tools is tested using
two benchmarks. The first one is to solve a combined algorithm selection and
hyper-parameter optimization (CASH) problem The second one is the NeurIPS
black-box optimization challenge in which a multilayer perception (MLP)
architecture has to be chosen from a set of related architecture constraints
and hyper-parameters. The benchmarking is done with six real-world datasets.
From the experiments, we found that Optuna has better performance for CASH
problem and HyperOpt for MLP problem.
- Abstract（参考訳）: ほとんどの機械学習モデルは、パラメータと関連するハイパーパラメータを持つ。
このアルゴリズムはパラメータの解を与えるが、モデル性能の効用はハイパーパラメータの選択に大きく依存する。
モデルのロバストな性能を得るためには、適切なハイパーパラメータの組み合わせを見つける必要がある。
ハイパーパラメータ最適化(HPO)は、それらの適切な値を見つけるのに役立つ体系的なプロセスである。
従来の手法はグリッド探索とランダム探索であり,両手法が産業用アプリケーションに問題をもたらす。
したがって、プロダクション環境でのランタイム問題と堅牢なパフォーマンスに役立つベイズ最適化と進化的アルゴリズム原則に基づいた戦略が最近提案されている。
本稿では,ハイパーパラメータ最適化のために提案されている4つのピソンライブラリ,すなわちOptuna,Hyper-opt,Optunity,および逐次モデルベースアルゴリズム構成(SMAC)の性能を比較した。
これらのツールのパフォーマンスは、2つのベンチマークを使ってテストされる。
第1の問題はアルゴリズム選択とハイパーパラメータ最適化(cash)を組み合わせることであり、第2の問題は、関連するアーキテクチャ制約とハイパーパラメータのセットから多層知覚(mlp)アーキテクチャを選択しなければならないニューオリプスブラックボックス最適化チャレンジである。
ベンチマークは6つの実世界のデータセットで行われます。
実験の結果,オプトゥーナはCASH問題に対して,HyperOptはMLP問題に対して優れた性能を示した。
関連論文リスト
- Parameter Optimization with Conscious Allocation (POCA) [4.478575931884855]
ハイパーバンドベースの機械学習アプローチが最も効果的である。
私たちは出席します。
新人
Conscious Allocation (POCA) は、入力を適応的に割り当てるハイパーバンドベースのアルゴリズムである。
ハイパーパラメータの構成に予算を割り当てます
POCAは、両方の設定で強い設定を高速に見つける。
論文 参考訳（メタデータ） (2023-12-29T00:13:55Z) - Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。
そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。
理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-02-18T23:31:20Z) - A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization
Method [0.0]
ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。
提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
論文 参考訳（メタデータ） (2022-08-25T14:25:16Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。
我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
論文 参考訳（メタデータ） (2021-11-28T05:27:34Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳（メタデータ） (2021-02-15T19:36:18Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳（メタデータ） (2020-06-03T08:53:48Z) - Cross Entropy Hyperparameter Optimization for Constrained Problem
Hamiltonians Applied to QAOA [68.11912614360878]
QAOA(Quantum Approximate Optimization Algorithm)のようなハイブリッド量子古典アルゴリズムは、短期量子コンピュータを実用的に活用するための最も奨励的なアプローチの1つである。
このようなアルゴリズムは通常変分形式で実装され、古典的な最適化法と量子機械を組み合わせて最適化問題の優れた解を求める。
本研究では,クロスエントロピー法を用いてランドスケープを形作り,古典的パラメータがより容易により良いパラメータを発見でき,その結果,性能が向上することを示す。
論文 参考訳（メタデータ） (2020-03-11T13:52:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。