論文の概要: A Lipschitz Bandits Approach for Continuous Hyperparameter Optimization
- arxiv url: http://arxiv.org/abs/2302.01539v2
- Date: Mon, 17 Apr 2023 05:14:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 21:12:40.041382
- Title: A Lipschitz Bandits Approach for Continuous Hyperparameter Optimization
- Title（参考訳）: lipschitz banditsアプローチによる連続ハイパーパラメータ最適化
- Authors: Yasong Feng, Weijian Luo, Yimin Huang, Tianyu Wang
- Abstract要約: BLiEは、目的関数のリプシッツ連続性のみを仮定するリプシッツ帯域に基づくHPOアルゴリズムである。
経験的に、BLiEはベンチマークタスクにおいて最先端のHPOアルゴリズムよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 6.572589601317779
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the most critical problems in machine learning is HyperParameter
Optimization (HPO), since choice of hyperparameters has a significant impact on
final model performance. Although there are many HPO algorithms, they either
have no theoretical guarantees or require strong assumptions. To this end, we
introduce BLiE -- a Lipschitz-bandit-based algorithm for HPO that only assumes
Lipschitz continuity of the objective function. BLiE exploits the landscape of
the objective function to adaptively search over the hyperparameter space.
Theoretically, we show that $(i)$ BLiE finds an $\epsilon$-optimal
hyperparameter with $O \left( \frac{1}{\epsilon} \right)^{d_z + \beta}$ total
budgets, where $d_z$ and $\beta$ are problem intrinsic; $(ii)$ BLiE is highly
parallelizable. Empirically, we demonstrate that BLiE outperforms the
state-of-the-art HPO algorithms on benchmark tasks. We also apply BLiE to
search for noise schedule of diffusion models. Comparison with the default
schedule shows that BLiE schedule greatly improves the sampling speed.
- Abstract（参考訳）: 機械学習における最も重要な問題の1つはハイパーパラメータ最適化(HPO)である。
多くのHPOアルゴリズムがあるが、理論的な保証がないか、強い仮定を必要とする。
この目的のために、目的関数のリプシッツ連続性のみを仮定するHPOのリプシッツ帯域ベースアルゴリズムであるBLiEを導入する。
BLiEは目的関数の風景を利用してハイパーパラメータ空間を適応的に探索する。
理論的には、$は
(i)$ blie は$o \left( \frac{1}{\epsilon} \right)^{d_z + \beta}$ の総予算を持つ$\epsilon$-optimalハイパーパラメータを見つける。
(ii)$ BLiE は非常に並列化可能である。
経験的に、BLiEはベンチマークタスクにおける最先端HPOアルゴリズムよりも優れていることを示す。
また,拡散モデルのノイズスケジュールの探索にBLiEを適用した。
デフォルトのスケジュールと比較すると、BLiEスケジュールはサンプリング速度を大幅に改善する。
関連論文リスト
- PriorBand: Practical Hyperparameter Optimization in the Age of Deep
Learning [49.92394599459274]
我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。
各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
論文 参考訳（メタデータ） (2023-06-21T16:26:14Z) - Iterative Deepening Hyperband [8.257520009686239]
我々は,ハイパーバンドの漸進的変種が,もともとの「右」予算を持つハイパーバンドと定性的に類似した理論的保証を満たすことを示す。
ベンチマークデータセットを用いた実験において,その実用性を実証する。
論文 参考訳（メタデータ） (2023-02-01T15:33:51Z) - A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。
私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
論文 参考訳（メタデータ） (2022-01-17T14:49:36Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳（メタデータ） (2021-07-01T06:43:11Z) - Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。
本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。
次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T13:07:44Z) - How Bayesian Should Bayesian Optimisation Be? [0.024790788944106048]
BO(FBBO)におけるガウス過程ハイパーパラメータの完全ベイズ処理が最適化性能の向上に繋がるかどうかを検討する。
予測改善(EI)とアッパー信頼境界(UCB)の取得関数を用いて、3つの近似推論スキームと最大可能性アプローチでFBBOを比較します。
ARDカーネルでEIを使用するFBBOは、ノイズフリー設定で最高のパフォーマンスをもたらし、ノイズが増加するとBOコンポーネントの組み合わせの違いがはるかに少なくなります。
論文 参考訳（メタデータ） (2021-05-03T14:28:11Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳（メタデータ） (2021-01-17T04:55:30Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳（メタデータ） (2020-06-03T08:53:48Z) - HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。
生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。
既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
論文 参考訳（メタデータ） (2020-05-21T08:56:50Z) - Frugal Optimization for Cost-related Hyperparameters [43.599155206275306]
我々は機械学習アルゴリズムのための新しいコストフルーガーHPOソリューションを開発した。
我々は総コストに対して$O(fracsqrtdsqrtK)$と$O(depsilon-2)$-approximationの収束率を証明する。
我々は、大規模なAutoMLベンチマークにおける最先端HPO法と比較して、強力な実験結果を提供する。
論文 参考訳（メタデータ） (2020-05-04T15:40:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。