論文の概要: Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset
- arxiv url: http://arxiv.org/abs/2302.03845v1
- Date: Wed, 8 Feb 2023 02:38:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 17:34:19.261783
- Title: Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset
- Title（参考訳）: 2段階ハイパーパラメータ最適化法:トレーニングデータセットの分数を用いたハイパーパラメータ探索の高速化
- Authors: Sungduk Yu, Mike Pritchard, Po-Lun Ma, Balwinder Singh, and Sam Silva
- Abstract要約: 本稿では,計算時間と待ち時間を最小化するための2段階HPO法を提案する。
エアロゾル活性化のニューラルネットワークエミュレータ開発における2段階HPO法の最近の応用について述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter optimization (HPO) can be an important step in machine
learning model development, but our common practice is archaic -- primarily
using a manual or grid search. This is partly because adopting an advanced HPO
algorithm entails extra complexity to workflow and longer computation time.
This imposes a significant hurdle to machine learning (ML) applications since
the choice of suboptimal hyperparameters limits the performance of ML models,
ultimately failing to harness the full potential of ML techniques. In this
article, we present a two-step HPO method as a strategy to minimize compute and
wait time as a lesson learned during applied ML parameterization work. A
preliminary evaluation of hyperparameters is first conducted on a small subset
of a training dataset, then top-performing candidate models are re-evaluated
after retraining with an entire training dataset. This two-step HPO method can
be applied to any HPO search algorithm, and we argue it has attractive
efficiencies. As a case study, we present our recent application of the
two-step HPO method to the development of neural network emulators of aerosol
activation. Using only 5% of a training dataset in the initial step is
sufficient to find optimal hyperparameter configurations from much more
extensive sampling. The benefits of HPO are then revealed by analysis of
hyperparameters and model performance, revealing a minimal model complexity
required to achieve the best performance, and the diversity of top-performing
models harvested from the HPO process allows us to choose a high-performing
model with a low inference cost for efficient use in GCMs.
- Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は、マシンラーニングモデル開発における重要なステップですが、私たちの一般的なプラクティスは、手動またはグリッド検索が中心です。
これは、高度なHPOアルゴリズムを採用するとワークフローが複雑になり、計算時間が長くなるためである。
これは機械学習(ML)アプリケーションにとって大きなハードルとなる。なぜなら、最適でないハイパーパラメータの選択はMLモデルの性能を制限し、最終的にはML技術の潜在能力を最大限活用できないからだ。
本稿では,応用MLパラメタライゼーション作業で学んだ教訓として,計算時間と待ち時間を最小化する手法として,二段階HPO法を提案する。
トレーニングデータセットの小さなサブセット上で、まずハイパーパラメータの予備評価を行い、トレーニングデータセット全体をトレーニングした後、トップパフォーマンス候補モデルを再評価する。
この二段階hpo法は任意のhpo探索アルゴリズムに適用できるため,魅力的な効率性が期待できる。
そこで本研究では,二段階hpo法を応用したエアロゾル活性化型ニューラルネットワークエミュレータの開発について紹介する。
最初のステップでトレーニングデータセットの5%だけを使用すると、より広範なサンプリングから最適なハイパーパラメータ構成を見つけるのに十分です。
HPOの利点はハイパーパラメータとモデル性能の分析によって明らかにされ、最高の性能を達成するのに必要なモデル複雑さが最小限であること、HPOプロセスから得られるトップパフォーマンスモデルの多様性により、GCMにおける効率的な使用のための推論コストの低いハイパフォーマンスモデルを選択することができる。
関連論文リスト
- ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning [42.33815055388433]
ARLBenchは強化学習(RL)におけるハイパーパラメータ最適化(HPO)のベンチマークである
様々なHPOアプローチの比較が可能であり、高い効率で評価できる。
ARLBenchはAutoRLの研究のための効率的で柔軟性があり、未来志向の基盤である。
論文 参考訳（メタデータ） (2024-09-27T15:22:28Z) - Model Performance Prediction for Hyperparameter Optimization of Deep
Learning Models Using High Performance Computing and Quantum Annealing [0.0]
モデル性能予測を早期停止法と組み合わせることで,ディープラーニングモデルのHPOプロセスの高速化が期待できることを示す。
我々は,古典的あるいは量子的サポートベクター回帰を性能予測に用いるSwift-Hyperbandと呼ばれる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-29T10:32:40Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳（メタデータ） (2023-05-29T17:25:26Z) - Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。
12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
論文 参考訳（メタデータ） (2023-03-27T13:52:40Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Hyperparameter optimization of data-driven AI models on HPC systems [0.0]
この作業は、AIとHPCのクロスメソッドを活用するデータ駆動型ユースケースに関するRAISEの取り組みの一環だ。
高エネルギー物理におけるマシンラーニング粒子再構成の場合,ASHAアルゴリズムとベイジアン最適化を組み合わせることで,解析されたアルゴリズムから得られた計算資源あたりの性能が最大になることがわかった。
論文 参考訳（メタデータ） (2022-03-02T14:02:59Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳（メタデータ） (2021-01-17T04:55:30Z) - Practical and sample efficient zero-shot HPO [8.41866793161234]
利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。
1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。
2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
論文 参考訳（メタデータ） (2020-07-27T08:56:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。