論文の概要: Frugal Optimization for Cost-related Hyperparameters

• arxiv url: http://arxiv.org/abs/2005.01571v3
• Date: Tue, 22 Dec 2020 20:48:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 00:21:37.352922
• Title: Frugal Optimization for Cost-related Hyperparameters
• Title（参考訳）: コスト関連ハイパーパラメータのフルーガル最適化
• Authors: Qingyun Wu, Chi Wang, Silu Huang
• Abstract要約: 我々は機械学習アルゴリズムのための新しいコストフルーガーHPOソリューションを開発した。 我々は総コストに対して$O(fracsqrtdsqrtK)$と$O(depsilon-2)$-approximationの収束率を証明する。 我々は、大規模なAutoMLベンチマークにおける最先端HPO法と比較して、強力な実験結果を提供する。
• 参考スコア（独自算出の注目度）: 43.599155206275306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing demand for democratizing machine learning algorithms calls for hyperparameter optimization (HPO) solutions at low cost. Many machine learning algorithms have hyperparameters which can cause a large variation in the training cost. But this effect is largely ignored in existing HPO methods, which are incapable to properly control cost during the optimization process. To address this problem, we develop a new cost-frugal HPO solution. The core of our solution is a simple but new randomized direct-search method, for which we prove a convergence rate of $O(\frac{\sqrt{d}}{\sqrt{K}})$ and an $O(d\epsilon^{-2})$-approximation guarantee on the total cost. We provide strong empirical results in comparison with state-of-the-art HPO methods on large AutoML benchmarks.
• Abstract（参考訳）: 機械学習アルゴリズムの民主化に対する需要が高まる中、ハイパーパラメータ最適化(hpo)ソリューションは低コストで要求される。 多くの機械学習アルゴリズムはハイパーパラメータを持ち、トレーニングコストが大きく変動する可能性がある。 しかし、この効果は最適化プロセス中にコストを適切に制御できない既存のHPO法では無視されている。 この問題に対処するため、我々は新しいコストフルーガーHPOソリューションを開発した。 我々の解の核となるのは、単純だが新しいランダム化直接探索法であり、全コストに対して$o(\frac{\sqrt{d}}{\sqrt{k}})$と$o(d\epsilon^{-2})$-approximationの収束率を証明する。 我々は、大規模なAutoMLベンチマークにおける最先端HPO法と比較して、強力な実験結果を提供する。

関連論文リスト

• Time-Varying Convex Optimization with $O(n)$ Computational Complexity [0.0]
  コスト関数が時間とともに変化する非拘束凸最適化の問題を考える。 提案アルゴリズムは,決定変数に対するコスト関数の1次微分のみを必要とする。 具体的には、提案アルゴリズムは、計算コストを1タイムステップあたり$(n3)$から$O(n)$に削減する。
  論文  参考訳（メタデータ） (2024-10-19T06:45:05Z)
• Reinforcement Learning from Human Feedback with Active Queries [67.27150911254155]
  現在の強化学習アプローチは、多くの場合、大量の人間による嗜好データを必要とする。 本稿では,能動学習の成功に触発されたクエリ効率の高いRLHF手法を提案する。 実験の結果,ADPOは人間の好みに対するクエリの約半分しか作成していないが,最先端のDPO法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T18:58:40Z)
• A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
  本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。 我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2022-12-08T18:56:37Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• A Nonmyopic Approach to Cost-Constrained Bayesian Optimization [10.078368988372247]
  コスト制約付きBOを制約付きマルコフ決定過程(CMDP)として定式化する。 コストと将来のイテレーションを考慮に入れた最適CMDPポリシーに対する効率的なロールアウト近似を開発する。
  論文  参考訳（メタデータ） (2021-06-10T22:44:37Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)
• Efficient Automatic CASH via Rising Bandits [37.09843193057032]
  CASH問題に対する交互最適化フレームワークを提案する。 また、CASHのアルゴリズム選択をモデル化するために、CASH指向のマルチアーマドバンド(MAB)バリアントであるRising Banditsも紹介します。 このフレームワークは、HPO問題を解決するBOとアルゴリズムの選択を加速するMABの両方の利点を利用することができる。
  論文  参考訳（メタデータ） (2020-12-08T11:29:57Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。