論文の概要: Cost-Efficient Online Hyperparameter Optimization
- arxiv url: http://arxiv.org/abs/2101.06590v1
- Date: Sun, 17 Jan 2021 04:55:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 20:23:29.100340
- Title: Cost-Efficient Online Hyperparameter Optimization
- Title（参考訳）: コスト効率の良いオンラインハイパーパラメータ最適化
- Authors: Jingkang Wang, Mengye Ren, Ilija Bogunovic, Yuwen Xiong, Raquel
Urtasun
- Abstract要約: 実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
- 参考スコア（独自算出の注目度）: 94.60924644778558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work on hyperparameters optimization (HPO) has shown the possibility
of training certain hyperparameters together with regular parameters. However,
these online HPO algorithms still require running evaluation on a set of
validation examples at each training step, steeply increasing the training
cost. To decide when to query the validation loss, we model online HPO as a
time-varying Bayesian optimization problem, on top of which we propose a novel
\textit{costly feedback} setting to capture the concept of the query cost.
Under this setting, standard algorithms are cost-inefficient as they evaluate
on the validation set at every round. In contrast, the cost-efficient GP-UCB
algorithm proposed in this paper queries the unknown function only when the
model is less confident about current decisions. We evaluate our proposed
algorithm by tuning hyperparameters online for VGG and ResNet on CIFAR-10 and
ImageNet100. Our proposed online HPO algorithm reaches human expert-level
performance within a single run of the experiment, while incurring only modest
computational overhead compared to regular training.
- Abstract（参考訳）: ハイパーパラメータ最適化(HPO)に関する最近の研究は、特定のハイパーパラメータを正規パラメータと共に訓練する可能性を示している。
しかし、これらのオンラインHPOアルゴリズムは、トレーニングの各ステップにおける検証例のセットの評価を必要とするため、トレーニングコストが大幅に増加する。
検証損失をいつ問い合わせるかを決定するために,オンラインHPOを時間変動ベイズ最適化問題としてモデル化し,その上で,クエリコストの概念を捉えた新しい‘textit{costly feedback} 設定を提案する。
この設定下では、標準アルゴリズムは各ラウンドの検証セットを評価するため、コスト非効率である。
これとは対照的に,提案したGP-UCBアルゴリズムは,モデルが現在の決定に自信がない場合にのみ,未知の関数を問合せする。
CIFAR-10 と ImageNet100 上で VGG と ResNet のハイパーパラメータをオンラインでチューニングすることで,提案アルゴリズムの評価を行った。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
関連論文リスト
- PriorBand: Practical Hyperparameter Optimization in the Age of Deep
Learning [49.92394599459274]
我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。
各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
論文 参考訳（メタデータ） (2023-06-21T16:26:14Z) - Online Learning and Optimization for Queues with Unknown Demand Curve
and Service Distribution [26.720986177499338]
サービス提供者が最適なサービス料金 p とサービス容量 mu を選択する待ち行列システムにおける最適化問題について検討する。
本研究では,パラメータ推定誤差を自動的に解法に組み込むオンライン学習フレームワークを開発した。
論文 参考訳（メタデータ） (2023-03-06T08:47:40Z) - A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。
我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
論文 参考訳（メタデータ） (2022-12-08T18:56:37Z) - Enhancing Explainability of Hyperparameter Optimization via Bayesian
Algorithm Execution [13.037647287689438]
部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。
我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。
提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
論文 参考訳（メタデータ） (2022-06-11T07:12:04Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Optimal Parameter-free Online Learning with Switching Cost [47.415099037249085]
オンライン学習における自由とは、後ろ向きの最適決定に対するアルゴリズムの適応性を指す。
本稿では,パラメータフリーで要求される楽観的な更新を,スイッチングコストを前提として,そのようなアルゴリズムを設計する。
本稿では,オンライン線形最適化 (OLO) のための簡易かつ強力なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-13T18:44:27Z) - Hyperparameter Optimization: Foundations, Algorithms, Best Practices and
Open Challenges [5.139260825952818]
本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。
HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
論文 参考訳（メタデータ） (2021-07-13T04:55:47Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳（メタデータ） (2021-02-15T19:36:18Z) - Frugal Optimization for Cost-related Hyperparameters [43.599155206275306]
我々は機械学習アルゴリズムのための新しいコストフルーガーHPOソリューションを開発した。
我々は総コストに対して$O(fracsqrtdsqrtK)$と$O(depsilon-2)$-approximationの収束率を証明する。
我々は、大規模なAutoMLベンチマークにおける最先端HPO法と比較して、強力な実験結果を提供する。
論文 参考訳（メタデータ） (2020-05-04T15:40:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。