論文の概要: Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset
- arxiv url: http://arxiv.org/abs/2302.03845v2
- Date: Fri, 8 Sep 2023 00:23:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 18:39:32.337578
- Title: Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset
- Title（参考訳）: 2段階ハイパーパラメータ最適化法:トレーニングデータセットの分数を用いたハイパーパラメータ探索の高速化
- Authors: Sungduk Yu, Mike Pritchard, Po-Lun Ma, Balwinder Singh, and Sam Silva
- Abstract要約: 計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。
我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
- 参考スコア（独自算出の注目度）: 0.15420205433587747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter optimization (HPO) is an important step in machine learning
(ML) model development, but common practices are archaic -- primarily relying
on manual or grid searches. This is partly because adopting advanced HPO
algorithms introduces added complexity to the workflow, leading to longer
computation times. This poses a notable challenge to ML applications, as
suboptimal hyperparameter selections curtail the potential of ML model
performance, ultimately obstructing the full exploitation of ML techniques. In
this article, we present a two-step HPO method as a strategic solution to
curbing computational demands and wait times, gleaned from practical
experiences in applied ML parameterization work. The initial phase involves a
preliminary evaluation of hyperparameters on a small subset of the training
dataset, followed by a re-evaluation of the top-performing candidate models
post-retraining with the entire training dataset. This two-step HPO method is
universally applicable across HPO search algorithms, and we argue it has
attractive efficiency gains.
As a case study, we present our recent application of the two-step HPO method
to the development of neural network emulators for aerosol activation. Although
our primary use case is a data-rich limit with many millions of samples, we
also find that using up to 0.0025% of the data (a few thousand samples) in the
initial step is sufficient to find optimal hyperparameter configurations from
much more extensive sampling, achieving up to 135-times speedup. The benefits
of this method materialize through an assessment of hyperparameters and model
performance, revealing the minimal model complexity required to achieve the
best performance. The assortment of top-performing models harvested from the
HPO process allows us to choose a high-performing model with a low inference
cost for efficient use in global climate models (GCMs).
- Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は機械学習(ML)モデル開発における重要なステップであるが、一般的なプラクティスは古来的なものであり、主に手動やグリッド検索に依存している。
これは、高度なHPOアルゴリズムを採用するとワークフローが複雑になり、計算時間が長くなるためである。
これはMLアプリケーションにとって顕著な課題であり、最適化されたハイパーパラメータ選択によってMLモデルのパフォーマンスが向上し、最終的にはMLテクニックのフル活用が妨げられる。
本稿では,2段階のHPO法を,応用MLパラメタライゼーション作業における実践的経験から切り離された,計算要求と待ち時間を抑制する戦略的ソリューションとして提案する。
最初のフェーズでは、トレーニングデータセットの小さなサブセット上でのハイパーパラメータの予備的な評価と、トレーニングデータセット全体のトレーニング後のトップパフォーマンス候補モデルの再評価が含まれる。
この二段階hpo法はhpo探索アルゴリズムに共通して適用可能であり,高い効率性が期待できる。
本稿では,近年の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
私たちの主なユースケースは、数百万のサンプルを持つデータ豊富な制限ですが、最初のステップで0.0025%のデータ(数千のサンプル)を使用することで、より広範なサンプリングから最適なハイパーパラメータ構成を見つけ、最大135回のスピードアップを実現できます。
この手法の利点は、ハイパーパラメータの評価とモデル性能によって実現され、最高の性能を達成するのに必要な最小限のモデル複雑性が明らかになる。
HPOプロセスから抽出した最高性能モデルのコンソーシングにより,グローバル気候モデル(GCM)の効率的な利用のために,推論コストの低い高性能モデルを選択することができる。
関連論文リスト
- ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning [42.33815055388433]
ARLBenchは強化学習(RL)におけるハイパーパラメータ最適化(HPO)のベンチマークである
様々なHPOアプローチの比較が可能であり、高い効率で評価できる。
ARLBenchはAutoRLの研究のための効率的で柔軟性があり、未来志向の基盤である。
論文 参考訳（メタデータ） (2024-09-27T15:22:28Z) - Model Performance Prediction for Hyperparameter Optimization of Deep
Learning Models Using High Performance Computing and Quantum Annealing [0.0]
モデル性能予測を早期停止法と組み合わせることで,ディープラーニングモデルのHPOプロセスの高速化が期待できることを示す。
我々は,古典的あるいは量子的サポートベクター回帰を性能予測に用いるSwift-Hyperbandと呼ばれる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-29T10:32:40Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳（メタデータ） (2023-05-29T17:25:26Z) - Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。
12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
論文 参考訳（メタデータ） (2023-03-27T13:52:40Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Hyperparameter optimization of data-driven AI models on HPC systems [0.0]
この作業は、AIとHPCのクロスメソッドを活用するデータ駆動型ユースケースに関するRAISEの取り組みの一環だ。
高エネルギー物理におけるマシンラーニング粒子再構成の場合,ASHAアルゴリズムとベイジアン最適化を組み合わせることで,解析されたアルゴリズムから得られた計算資源あたりの性能が最大になることがわかった。
論文 参考訳（メタデータ） (2022-03-02T14:02:59Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳（メタデータ） (2021-01-17T04:55:30Z) - Practical and sample efficient zero-shot HPO [8.41866793161234]
利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。
1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。
2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
論文 参考訳（メタデータ） (2020-07-27T08:56:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。