論文の概要: Frugal Optimization for Cost-related Hyperparameters
- arxiv url: http://arxiv.org/abs/2005.01571v3
- Date: Tue, 22 Dec 2020 20:48:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 00:21:37.352922
- Title: Frugal Optimization for Cost-related Hyperparameters
- Title(参考訳): コスト関連ハイパーパラメータのフルーガル最適化
- Authors: Qingyun Wu, Chi Wang, Silu Huang
- Abstract要約: 我々は機械学習アルゴリズムのための新しいコストフルーガーHPOソリューションを開発した。
我々は総コストに対して$O(fracsqrtdsqrtK)$と$O(depsilon-2)$-approximationの収束率を証明する。
我々は、大規模なAutoMLベンチマークにおける最先端HPO法と比較して、強力な実験結果を提供する。
- 参考スコア(独自算出の注目度): 43.599155206275306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing demand for democratizing machine learning algorithms calls for
hyperparameter optimization (HPO) solutions at low cost. Many machine learning
algorithms have hyperparameters which can cause a large variation in the
training cost. But this effect is largely ignored in existing HPO methods,
which are incapable to properly control cost during the optimization process.
To address this problem, we develop a new cost-frugal HPO solution. The core of
our solution is a simple but new randomized direct-search method, for which we
prove a convergence rate of $O(\frac{\sqrt{d}}{\sqrt{K}})$ and an
$O(d\epsilon^{-2})$-approximation guarantee on the total cost. We provide
strong empirical results in comparison with state-of-the-art HPO methods on
large AutoML benchmarks.
- Abstract(参考訳): 機械学習アルゴリズムの民主化に対する需要が高まる中、ハイパーパラメータ最適化(hpo)ソリューションは低コストで要求される。
多くの機械学習アルゴリズムはハイパーパラメータを持ち、トレーニングコストが大きく変動する可能性がある。
しかし、この効果は最適化プロセス中にコストを適切に制御できない既存のHPO法では無視されている。
この問題に対処するため、我々は新しいコストフルーガーHPOソリューションを開発した。
我々の解の核となるのは、単純だが新しいランダム化直接探索法であり、全コストに対して$o(\frac{\sqrt{d}}{\sqrt{k}})$と$o(d\epsilon^{-2})$-approximationの収束率を証明する。
我々は、大規模なAutoMLベンチマークにおける最先端HPO法と比較して、強力な実験結果を提供する。
関連論文リスト
- Reinforcement Learning from Human Feedback with Active Queries [67.27150911254155]
現在の強化学習アプローチは、多くの場合、大量の人間による嗜好データを必要とする。
本稿では,能動学習の成功に触発されたクエリ効率の高いRLHF手法を提案する。
実験の結果,ADPOは人間の好みに対するクエリの約半分しか作成していないが,最先端のDPO法の性能と一致していることがわかった。
論文 参考訳(メタデータ) (2024-02-14T18:58:40Z) - Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free
Reinforcement Learning [52.76230802067506]
漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。
提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。
初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
論文 参考訳(メタデータ) (2021-10-09T21:13:48Z) - Online Sub-Sampling for Reinforcement Learning with General Function
Approximation [111.01990889581243]
本稿では,RLアルゴリズムによって収集されたデータポイントの情報取得量を測定する,効率的なオンラインサブサンプリングフレームワークを確立する。
複雑性バウンド関数クラスを持つ値ベースのメソッドの場合、$proptooperatornamepolylog(K)$ timesに対してのみポリシーを更新する必要がある。
少なくとも$Omega(K)$倍のポリシーを更新する既存のアプローチとは対照的に、当社のアプローチはポリシーの解決における最適化コールの数を劇的に削減します。
論文 参考訳(メタデータ) (2021-06-14T07:36:25Z) - A Nonmyopic Approach to Cost-Constrained Bayesian Optimization [10.078368988372247]
コスト制約付きBOを制約付きマルコフ決定過程(CMDP)として定式化する。
コストと将来のイテレーションを考慮に入れた最適CMDPポリシーに対する効率的なロールアウト近似を開発する。
論文 参考訳(メタデータ) (2021-06-10T22:44:37Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳(メタデータ) (2021-01-17T04:55:30Z) - Efficient Automatic CASH via Rising Bandits [37.09843193057032]
CASH問題に対する交互最適化フレームワークを提案する。
また、CASHのアルゴリズム選択をモデル化するために、CASH指向のマルチアーマドバンド(MAB)バリアントであるRising Banditsも紹介します。
このフレームワークは、HPO問題を解決するBOとアルゴリズムの選択を加速するMABの両方の利点を利用することができる。
論文 参考訳(メタデータ) (2020-12-08T11:29:57Z) - Pareto-efficient Acquisition Functions for Cost-Aware Bayesian
Optimization [5.459427541271035]
ブラックボックス関数に対するコスト対応ベイズ最適化について述べる。
144個の実世界のブラックボックス関数最適化問題に対して、我々のソリューションは50%のスピードアップをもたらす。
また、ガウスのプロセスコストモデルに対する一般的な選択を再考し、単純で低分散のコストモデルがトレーニング時間を効果的に予測することを示した。
論文 参考訳(メタデータ) (2020-11-23T15:06:07Z) - Efficient hyperparameter optimization by way of PAC-Bayes bound
minimization [4.191847852775072]
本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。
そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
論文 参考訳(メタデータ) (2020-08-14T15:54:51Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-14T12:38:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。