論文の概要: DEHB: Evolutionary Hyberband for Scalable, Robust and Efficient Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2105.09821v1
• Date: Thu, 20 May 2021 15:13:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 16:04:22.941830
• Title: DEHB: Evolutionary Hyberband for Scalable, Robust and Efficient Hyperparameter Optimization
• Title（参考訳）: DEHB: スケーラブルでロバストで効率的なハイパーパラメータ最適化のための進化的ハイバーバンド
• Authors: Noor Awad, Neeratyoy Mallik, Frank Hutter
• Abstract要約: 我々はDHBと呼ばれる新しいHPO法を提案する。 従来のHPO法よりもはるかに強靭な性能を実現している。 また、計算時間でも効率的であり、概念的にはシンプルで実装が容易であり、新しいデフォルトHPO法に位置づけられる。
• 参考スコア（独自算出の注目度）: 33.80873355096445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern machine learning algorithms crucially rely on several design decisions to achieve strong performance, making the problem of Hyperparameter Optimization (HPO) more important than ever. Here, we combine the advantages of the popular bandit-based HPO method Hyperband (HB) and the evolutionary search approach of Differential Evolution (DE) to yield a new HPO method which we call DEHB. Comprehensive results on a very broad range of HPO problems, as well as a wide range of tabular benchmarks from neural architecture search, demonstrate that DEHB achieves strong performance far more robustly than all previous HPO methods we are aware of, especially for high-dimensional problems with discrete input dimensions. For example, DEHB is up to 1000x faster than random search. It is also efficient in computational time, conceptually simple and easy to implement, positioning it well to become a new default HPO method.
• Abstract（参考訳）: 現代の機械学習アルゴリズムは、強力なパフォーマンスを達成するためにいくつかの設計決定に依存しているため、ハイパーパラメータ最適化(hpo)の問題はこれまで以上に重要になっている。 本稿では,一般的な帯域幅に基づくHPO法であるHyperband(HB)と差分進化法(DE)の進化的探索手法の利点を組み合わせて,DeHBと呼ぶ新しいHPO法を提案する。 非常に幅広いHPO問題の包括的結果と、ニューラルアーキテクチャサーチによる幅広い表型ベンチマークは、DeHBが、我々が認識している全てのHPOメソッド、特に離散的な入力次元を持つ高次元問題に対して、強い性能を達成することを実証している。 例えば、DEHBはランダム検索よりも1000倍高速である。 また、計算時間でも効率的であり、概念的にはシンプルで実装が容易であり、新しいデフォルトHPO法に位置づけられる。

関連論文リスト

• Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
  本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。 挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• HomOpt: A Homotopy-Based Hyperparameter Optimization Method [10.11271414863925]
  一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型手法であるHomOptを提案する。 本稿では,HomOptが任意のメソッドの性能と有効性を向上し,連続離散およびカテゴリー領域空間上での最適収束を高速化する方法について述べる。
  論文  参考訳（メタデータ） (2023-08-07T06:01:50Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
  本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-08T15:29:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Automated Benchmark-Driven Design and Explanation of Hyperparameter Optimizers [3.729201909920989]
  マルチパラメータHPO(MF-HPO)に適用したベンチマーク駆動型自動アルゴリズム設計の原理的アプローチを提案する。 まず、一般的なHPOアルゴリズムに限らず、MF-HPO候補の豊富な空間を定式化し、その空間をカバーするフレームワークを示す。 得られた設計選択が必要かどうか、あるいはアブレーション分析を行うことで、より単純で単純である設計に置き換えられるか、という課題に挑戦する。
  論文  参考訳（メタデータ） (2021-11-29T18:02:56Z)
• A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
  本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。 メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。 また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
  論文  参考訳（メタデータ） (2021-11-23T10:22:30Z)
• Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
  本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。 本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
  論文  参考訳（メタデータ） (2021-09-30T08:49:41Z)
• Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
  本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2021-07-13T04:55:47Z)
• HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
  HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。 生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。 既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
  論文  参考訳（メタデータ） (2020-05-21T08:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。