論文の概要: Automated Benchmark-Driven Design and Explanation of Hyperparameter
Optimizers
- arxiv url: http://arxiv.org/abs/2111.14756v1
- Date: Mon, 29 Nov 2021 18:02:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 16:21:45.780286
- Title: Automated Benchmark-Driven Design and Explanation of Hyperparameter
Optimizers
- Title（参考訳）: ハイパーパラメータオプティマイザの自動ベンチマーク駆動設計と説明
- Authors: Julia Moosbauer, Martin Binder, Lennart Schneider, Florian Pfisterer,
Marc Becker, Michel Lang, Lars Kotthoff, Bernd Bischl
- Abstract要約: マルチパラメータHPO(MF-HPO)に適用したベンチマーク駆動型自動アルゴリズム設計の原理的アプローチを提案する。
まず、一般的なHPOアルゴリズムに限らず、MF-HPO候補の豊富な空間を定式化し、その空間をカバーするフレームワークを示す。
得られた設計選択が必要かどうか、あるいはアブレーション分析を行うことで、より単純で単純である設計に置き換えられるか、という課題に挑戦する。
- 参考スコア（独自算出の注目度）: 3.729201909920989
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated hyperparameter optimization (HPO) has gained great popularity and
is an important ingredient of most automated machine learning frameworks. The
process of designing HPO algorithms, however, is still an unsystematic and
manual process: Limitations of prior work are identified and the improvements
proposed are -- even though guided by expert knowledge -- still somewhat
arbitrary. This rarely allows for gaining a holistic understanding of which
algorithmic components are driving performance, and carries the risk of
overlooking good algorithmic design choices. We present a principled approach
to automated benchmark-driven algorithm design applied to multifidelity HPO
(MF-HPO): First, we formalize a rich space of MF-HPO candidates that includes,
but is not limited to common HPO algorithms, and then present a configurable
framework covering this space. To find the best candidate automatically and
systematically, we follow a programming-by-optimization approach and search
over the space of algorithm candidates via Bayesian optimization. We challenge
whether the found design choices are necessary or could be replaced by more
naive and simpler ones by performing an ablation analysis. We observe that
using a relatively simple configuration, in some ways simpler than established
methods, performs very well as long as some critical configuration parameters
have the right value.
- Abstract（参考訳）: 自動ハイパーパラメータ最適化(automated hyperparameter optimization, hpo)は、多くの自動機械学習フレームワークの重要な要素である。
しかし、hpoアルゴリズムを設計するプロセスは、まだ体系的で手作業のプロセスであり、事前作業の制限が特定され、提案された改善は、専門家の知識によって導かれるものの、いまだに任意である。
これにより、どのアルゴリズムコンポーネントがパフォーマンスを駆動しているかの全体的な理解を得ることができなくなり、優れたアルゴリズム設計選択を見渡すリスクが生じる。
まず、一般的なHPOアルゴリズムに限らず、MF-HPO候補の豊富な空間を定式化し、この領域をカバーする構成可能なフレームワークを提案する。
最適な候補を自動かつ体系的に見つけるためには,プログラム・バイ・最適化のアプローチに従い,ベイズ最適化を用いてアルゴリズム候補の空間を探索する。
我々は, アブレーション解析を行うことで, 設計選択が必要か, より単純で単純なものに置き換えられるかに疑問を呈する。
確立されたメソッドよりも単純な比較的単純な設定を使用することで、重要な設定パラメータが正しい値を持つ限り、非常によく機能します。
関連論文リスト
- Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。
基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。
我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
論文 参考訳（メタデータ） (2022-09-27T17:51:31Z) - A survey on multi-objective hyperparameter optimization algorithms for
Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。
メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。
また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文 参考訳（メタデータ） (2021-11-23T10:22:30Z) - Ranking Cost: Building An Efficient and Scalable Circuit Routing Planner
with Evolution-Based Optimization [49.207538634692916]
そこで我々は、効率よくトレーニング可能なルータを形成するための新しい回路ルーティングアルゴリズム、Randing Costを提案する。
提案手法では,A*ルータが適切な経路を見つけるのに役立つコストマップと呼ばれる新しい変数群を導入する。
我々のアルゴリズムはエンドツーエンドで訓練されており、人工データや人間の実演は一切使用しない。
論文 参考訳（メタデータ） (2021-10-08T07:22:45Z) - Hyperparameter Optimization: Foundations, Algorithms, Best Practices and
Open Challenges [5.139260825952818]
本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。
HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
論文 参考訳（メタデータ） (2021-07-13T04:55:47Z) - Leveraging Benchmarking Data for Informed One-Shot Dynamic Algorithm
Selection [0.9281671380673306]
進化的アルゴリズムの適用における重要な課題は、目の前の問題に最も適したアルゴリズムインスタンスの選択である。
本研究では, 疑似ブール最適化問題の解法として, このような先行性能データを用いて, 動的アルゴリズム選択スキームを推論する方法について分析する。
論文 参考訳（メタデータ） (2021-02-12T12:27:02Z) - Towards Large Scale Automated Algorithm Design by Integrating Modular
Benchmarking Frameworks [0.9281671380673306]
本稿では,アルゴリズムフレームワークであるParadisEOと,自動アルゴリズム設定ツール irace と実験プラットフォーム IOHknownr の効率性を示す最初の概念実証例を提案する。
パイプラインの主な利点は、高速な評価時間、豊富なデータセットを生成する可能性、そしてサンプリングベースの最適化の非常に幅広いクラスをベンチマークするのに使用できる標準化されたインターフェースである。
論文 参考訳（メタデータ） (2021-02-12T10:47:00Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳（メタデータ） (2021-01-17T04:55:30Z) - Hyperparameter Optimization via Sequential Uniform Designs [4.56877715768796]
本稿では,HPOをコンピュータ実験として再設計し,新しい逐次一様設計(SeqUD)戦略を提案する。
提案されたSeqUD戦略はHPOメソッドのベンチマークよりも優れており、既存のAutoMLツールに代わる有望で競争力のある選択肢となる可能性がある。
論文 参考訳（メタデータ） (2020-09-08T08:55:02Z) - Hyper-Parameter Optimization: A Review of Algorithms and Applications [14.524227656147968]
本稿では,自動ハイパーパラメータ最適化(HPO)における最も重要なトピックについて概説する。
この研究は主要な最適化アルゴリズムとその適用性に焦点を当て、特にディープラーニングネットワークの効率と精度をカバーしている。
本稿では,HPOをディープラーニングに適用する際の問題点,最適化アルゴリズムの比較,および限られた計算資源を用いたモデル評価における顕著なアプローチについて述べる。
論文 参考訳（メタデータ） (2020-03-12T10:12:22Z) - Extreme Algorithm Selection With Dyadic Feature Representation [78.13985819417974]
我々は,数千の候補アルゴリズムの固定セットを考慮に入れた,極端なアルゴリズム選択(XAS)の設定を提案する。
我々は、XAS設定に対する最先端のAS技術の適用性を評価し、Dyadic特徴表現を利用したアプローチを提案する。
論文 参考訳（メタデータ） (2020-01-29T09:40:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。