論文の概要: PriorBand: Practical Hyperparameter Optimization in the Age of Deep
Learning
- arxiv url: http://arxiv.org/abs/2306.12370v2
- Date: Wed, 15 Nov 2023 17:06:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 20:27:25.415072
- Title: PriorBand: Practical Hyperparameter Optimization in the Age of Deep
Learning
- Title(参考訳): priorband: ディープラーニング時代の実用的なハイパーパラメータ最適化
- Authors: Neeratyoy Mallik and Edward Bergman and Carl Hvarfner and Danny Stoll
and Maciej Janowski and Marius Lindauer and Luigi Nardi and Frank Hutter
- Abstract要約: 我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。
各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
- 参考スコア(独自算出の注目度): 49.92394599459274
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperparameters of Deep Learning (DL) pipelines are crucial for their
downstream performance. While a large number of methods for Hyperparameter
Optimization (HPO) have been developed, their incurred costs are often
untenable for modern DL. Consequently, manual experimentation is still the most
prevalent approach to optimize hyperparameters, relying on the researcher's
intuition, domain knowledge, and cheap preliminary explorations. To resolve
this misalignment between HPO algorithms and DL researchers, we propose
PriorBand, an HPO algorithm tailored to DL, able to utilize both expert beliefs
and cheap proxy tasks. Empirically, we demonstrate PriorBand's efficiency
across a range of DL benchmarks and show its gains under informative expert
input and robustness against poor expert beliefs
- Abstract(参考訳): ディープラーニング(DL)パイプラインのハイパーパラメータは、下流のパフォーマンスに不可欠である。
ハイパーパラメータ最適化(HPO)のための多くの手法が開発されているが、現代のDLではそのコストは抑えられないことが多い。
結果として、手動の実験は、研究者の直観、ドメイン知識、安価な予備探索に頼りながら、ハイパーパラメーターを最適化する最も一般的なアプローチである。
そこで本研究では,HPOアルゴリズムとDL研究者のミスアライメントを解決するために,DLに適したHPOアルゴリズムであるPresideBandを提案する。
実証的に、さまざまなDLベンチマークでPresideBandの効率を実証し、有意義な専門家のインプットと貧弱な専門家の信念に対する頑健さの下でその利益を示す。
関連論文リスト
- Interactive Hyperparameter Optimization in Multi-Objective Problems via
Preference Learning [65.51668094117802]
我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。
ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
論文 参考訳(メタデータ) (2023-09-07T09:22:05Z) - Hyperparameters in Reinforcement Learning and How To Tune Them [25.782420501870295]
深層強化学習におけるハイパーパラメータの選択は,エージェントの最終的な性能とサンプル効率に大きな影響を及ぼすことを示す。
我々は,シードのチューニングとテストの分離など,AutoMLから確立されたベストプラクティスを採用することを提案する。
我々は、最先端のHPOツールを、RLアルゴリズムや環境を手作りのツールと比較することで、これをサポートする。
論文 参考訳(メタデータ) (2023-06-02T07:48:18Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳(メタデータ) (2022-05-26T12:51:32Z) - Efficient Hyperparameter Optimization for Differentially Private Deep
Learning [1.7205106391379026]
望ましいプライバシーとユーティリティのトレードオフを確立するための一般的な最適化フレームワークを定式化します。
提案手法では,進化的,ベイズ的,強化学習の3つの費用対効果アルゴリズムについて検討する。
私たちの研究がプライベートなディープラーニングのパイプラインで活用できると信じているので、コードをhttps://github.com/AmanPriyanshu/DP-HyperparamTuning.comに公開しています。
論文 参考訳(メタデータ) (2021-08-09T09:18:22Z) - Hyperparameter Optimization: Foundations, Algorithms, Best Practices and
Open Challenges [5.139260825952818]
本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。
HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
論文 参考訳(メタデータ) (2021-07-13T04:55:47Z) - Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for
Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。
マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文 参考訳(メタデータ) (2021-06-17T00:01:18Z) - Efficient Hyperparameter Optimization for Physics-based Character
Animation [1.2183405753834562]
本稿では,DRLに基づく文字制御システムの高パラメータ最適化のための,新しいカリキュラムベースのマルチフィデリティベイズ最適化フレームワーク(CMFBO)を提案する。
提案アルゴリズムは,DeepMimicの著者がリリースした設定と比較して,少なくとも5倍の効率向上が得られることを示す。
論文 参考訳(メタデータ) (2021-04-26T06:46:36Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳(メタデータ) (2021-01-17T04:55:30Z) - An Asymptotically Optimal Multi-Armed Bandit Algorithm and
Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。
また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。
実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文 参考訳(メタデータ) (2020-07-11T03:15:21Z) - Hyper-Parameter Optimization: A Review of Algorithms and Applications [14.524227656147968]
本稿では,自動ハイパーパラメータ最適化(HPO)における最も重要なトピックについて概説する。
この研究は主要な最適化アルゴリズムとその適用性に焦点を当て、特にディープラーニングネットワークの効率と精度をカバーしている。
本稿では,HPOをディープラーニングに適用する際の問題点,最適化アルゴリズムの比較,および限られた計算資源を用いたモデル評価における顕著なアプローチについて述べる。
論文 参考訳(メタデータ) (2020-03-12T10:12:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。