論文の概要: Iterative Deepening Hyperband

• arxiv url: http://arxiv.org/abs/2302.00511v1
• Date: Wed, 1 Feb 2023 15:33:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-02 12:47:53.595227
• Title: Iterative Deepening Hyperband
• Title（参考訳）: 反復深化ハイパーバンド
• Authors: Jasmin Brandt, Marcel Wever, Dimitrios Iliadis, Viktor Bengs, Eyke H\"ullermeier
• Abstract要約: 我々は,ハイパーバンドの漸進的変種が,もともとの「右」予算を持つハイパーバンドと定性的に類似した理論的保証を満たすことを示す。 ベンチマークデータセットを用いた実験において,その実用性を実証する。
• 参考スコア（独自算出の注目度）: 8.257520009686239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperparameter optimization (HPO) is concerned with the automated search for the most appropriate hyperparameter configuration (HPC) of a parameterized machine learning algorithm. A state-of-the-art HPO method is Hyperband, which, however, has its own parameters that influence its performance. One of these parameters, the maximal budget, is especially problematic: If chosen too small, the budget needs to be increased in hindsight and, as Hyperband is not incremental by design, the entire algorithm must be re-run. This is not only costly but also comes with a loss of valuable knowledge already accumulated. In this paper, we propose incremental variants of Hyperband that eliminate these drawbacks, and show that these variants satisfy theoretical guarantees qualitatively similar to those for the original Hyperband with the "right" budget. Moreover, we demonstrate their practical utility in experiments with benchmark data sets.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は、パラメータ化機械学習アルゴリズムの最も適切なハイパーパラメータ構成(HPC)の自動探索に関するものである。 最先端のHPO法はHyperbandであり、その性能に影響を与える独自のパラメータを持つ。 これらのパラメータの1つ、最大予算は特に問題である: もし選択が小さすぎると、予算は後から増加し、Hyperbandは設計上インクリメンタルではないため、アルゴリズム全体が再実行されなければならない。 これはコストのかかるだけでなく、すでに蓄積された貴重な知識の喪失も伴う。 本稿では,これらの欠点を解消するハイパーバンドの漸進的変種を提案するとともに,これらの変種が「右」予算を持つオリジナルのハイパーバンドと定性的に類似した理論的保証を満たすことを示す。 さらに,ベンチマークデータセットを用いた実験において,実用性を示す。

関連論文リスト

• PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
  我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。 各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:26:14Z)
• Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
  文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。 そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。 理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-18T23:31:20Z)
• A Lipschitz Bandits Approach for Continuous Hyperparameter Optimization [6.572589601317779]
  BLiEは、目的関数のリプシッツ連続性のみを仮定するリプシッツ帯域に基づくHPOアルゴリズムである。 経験的に、BLiEはベンチマークタスクにおいて最先端のHPOアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-03T04:30:17Z)
• A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
  本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。 我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2022-12-08T18:56:37Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)
• Frugal Optimization for Cost-related Hyperparameters [43.599155206275306]
  我々は機械学習アルゴリズムのための新しいコストフルーガーHPOソリューションを開発した。 我々は総コストに対して$O(fracsqrtdsqrtK)$と$O(depsilon-2)$-approximationの収束率を証明する。 我々は、大規模なAutoMLベンチマークにおける最先端HPO法と比較して、強力な実験結果を提供する。
  論文  参考訳（メタデータ） (2020-05-04T15:40:44Z)
• Automatic Hyper-Parameter Optimization Based on Mapping Discovery from Data to Hyper-Parameters [3.37314595161109]
  本稿では,データから対応するハイパーパラメータへのマッピングに基づく,効率的な自動パラメータ最適化手法を提案する。 提案手法は最先端のアポラッチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2020-03-03T19:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。