論文の概要: Hyperparameter Optimization via Sequential Uniform Designs
- arxiv url: http://arxiv.org/abs/2009.03586v2
- Date: Thu, 17 Jun 2021 09:12:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 20:53:38.955488
- Title: Hyperparameter Optimization via Sequential Uniform Designs
- Title（参考訳）: 逐次一様設計によるハイパーパラメータ最適化
- Authors: Zebin Yang and Aijun Zhang
- Abstract要約: 本稿では,HPOをコンピュータ実験として再設計し,新しい逐次一様設計(SeqUD)戦略を提案する。
提案されたSeqUD戦略はHPOメソッドのベンチマークよりも優れており、既存のAutoMLツールに代わる有望で競争力のある選択肢となる可能性がある。
- 参考スコア（独自算出の注目度）: 4.56877715768796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter optimization (HPO) plays a central role in the automated
machine learning (AutoML). It is a challenging task as the response surfaces of
hyperparameters are generally unknown, hence essentially a global optimization
problem. This paper reformulates HPO as a computer experiment and proposes a
novel sequential uniform design (SeqUD) strategy with three-fold advantages: a)
the hyperparameter space is adaptively explored with evenly spread design
points, without the need of expensive meta-modeling and acquisition
optimization; b) the batch-by-batch design points are sequentially generated
with parallel processing support; c) a new augmented uniform design algorithm
is developed for the efficient real-time generation of follow-up design points.
Extensive experiments are conducted on both global optimization tasks and HPO
applications. The numerical results show that the proposed SeqUD strategy
outperforms benchmark HPO methods, and it can be therefore a promising and
competitive alternative to existing AutoML tools.
- Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は、自動機械学習(AutoML)において中心的な役割を果たす。
ハイパーパラメータの応答曲面は一般に未知であり、本質的には大域最適化問題である。
本稿では,HPOをコンピュータ実験として再設計し,新しい逐次一様設計(SeqUD)戦略を提案する。
a) ハイパーパラメータ空間は、高価なメタモデリング及び取得最適化を必要とせず、均一に設計点を広げて適応的に探索される。
b) バッチ・バイ・バッチ設計点を並列処理支援で順次生成する。
c) 追従設計点の効率的なリアルタイム生成のための新しい一様設計アルゴリズムを開発した。
グローバル最適化タスクとHPOアプリケーションの両方で大規模な実験を行う。
その結果,提案手法はベンチマークhpo法を上回っており,既存のautomlツールに代わる有望かつ競争的な代替手段となる可能性が示唆された。
関連論文リスト
- Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。
12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
論文 参考訳（メタデータ） (2023-03-27T13:52:40Z) - Agent-based Collaborative Random Search for Hyper-parameter Tuning and
Global Function Optimization [0.0]
本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。
提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
論文 参考訳（メタデータ） (2023-03-03T21:10:17Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳（メタデータ） (2022-05-27T16:43:10Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。
私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
論文 参考訳（メタデータ） (2022-01-17T14:49:36Z) - Hyperparameter Optimization: Foundations, Algorithms, Best Practices and
Open Challenges [5.139260825952818]
本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。
HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
論文 参考訳（メタデータ） (2021-07-13T04:55:47Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - Automatic Hyper-Parameter Optimization Based on Mapping Discovery from
Data to Hyper-Parameters [3.37314595161109]
本稿では,データから対応するハイパーパラメータへのマッピングに基づく,効率的な自動パラメータ最適化手法を提案する。
提案手法は最先端のアポラッチを著しく上回ることを示す。
論文 参考訳（メタデータ） (2020-03-03T19:26:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。