論文の概要: HPO X ELA: Investigating Hyperparameter Optimization Landscapes by Means
of Exploratory Landscape Analysis
- arxiv url: http://arxiv.org/abs/2208.00220v1
- Date: Sat, 30 Jul 2022 13:46:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 14:09:45.636333
- Title: HPO X ELA: Investigating Hyperparameter Optimization Landscapes by Means
of Exploratory Landscape Analysis
- Title（参考訳）: HPO X ELA:探索的景観解析によるハイパーパラメータ最適化景観の調査
- Authors: Lennart Schneider, Lennart Sch\"apermeier, Raphael Patrick Prager,
Bernd Bischl, Heike Trautmann, Pascal Kerschke
- Abstract要約: 本研究では,探索ランドスケープ解析(ELA)を用いて未知の最適化問題の特性を把握できることを示す。
本稿では,XGデータセットの2次元・3次元・5次元連続探索空間からなる30個のHPO問題に対する5種類のブラックボックスブース学習者の性能評価を行う。
ELAの機能空間におけるHPO問題に近いBBOB問題のサブセットを特定し、この2つのベンチマーク問題に対して、性能が相違なく類似していることを示す。
- 参考スコア（独自算出の注目度）: 0.685068326729525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperparameter optimization (HPO) is a key component of machine learning
models for achieving peak predictive performance. While numerous methods and
algorithms for HPO have been proposed over the last years, little progress has
been made in illuminating and examining the actual structure of these black-box
optimization problems. Exploratory landscape analysis (ELA) subsumes a set of
techniques that can be used to gain knowledge about properties of unknown
optimization problems. In this paper, we evaluate the performance of five
different black-box optimizers on 30 HPO problems, which consist of two-,
three- and five-dimensional continuous search spaces of the XGBoost learner
trained on 10 different data sets. This is contrasted with the performance of
the same optimizers evaluated on 360 problem instances from the black-box
optimization benchmark (BBOB). We then compute ELA features on the HPO and BBOB
problems and examine similarities and differences. A cluster analysis of the
HPO and BBOB problems in ELA feature space allows us to identify how the HPO
problems compare to the BBOB problems on a structural meta-level. We identify a
subset of BBOB problems that are close to the HPO problems in ELA feature space
and show that optimizer performance is comparably similar on these two sets of
benchmark problems. We highlight open challenges of ELA for HPO and discuss
potential directions of future research and applications.
- Abstract（参考訳）: ハイパーパラメータ最適化(hpo)は、ピーク予測性能を達成するための機械学習モデルの重要なコンポーネントである。
hpoの多くの手法やアルゴリズムは近年提案されているが、これらのブラックボックス最適化問題の実際の構造を照らして検証する手法はほとんど進歩していない。
探索ランドスケープ分析(ELA)は、未知の最適化問題の特性に関する知識を得るために使用できる一連のテクニックを仮定する。
本稿では,10個の異なるデータセットで学習したxgboost学習者の2次元,3次元,5次元の連続探索空間からなる,30個のhpo問題に対する5種類のブラックボックス最適化の性能を評価する。
これは black-box optimization benchmark (bbob) による360問題インスタンスで評価された同じオプティマイザのパフォーマンスとは対照的である。
次に,HPOおよびBBOB問題におけるERAの特徴を計算し,類似点と相違点について検討する。
ela特徴空間におけるhpo問題とbbob問題のクラスター解析により,hpo問題と構造メタレベルのbbob問題との比較を明らかにした。
ELAの機能空間におけるHPO問題に近いBBOB問題のサブセットを特定し、この2つのベンチマーク問題に対してオプティマイザ性能が相似であることを示す。
ela for hpo のオープンな課題を取り上げ,今後の研究と応用の可能性について論じる。
関連論文リスト
- Reinforced In-Context Black-Box Optimization [67.02295929937829]
RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。
RIBBOは、複数の動作アルゴリズムとタスクによって生成された最適化履歴を学習するために、表現的なシーケンスモデルを使用している。
提案手法の中心となるのは,履歴の累積的後悔に基づくアルゴリズムの性能を表現するために,後悔から後悔へのトークンで最適化履歴を増大させることである。
論文 参考訳（メタデータ） (2024-02-27T11:32:14Z) - PriorBand: Practical Hyperparameter Optimization in the Age of Deep
Learning [49.92394599459274]
我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。
各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
論文 参考訳（メタデータ） (2023-06-21T16:26:14Z) - BBOB Instance Analysis: Landscape Properties and Algorithm Performance
across Problem Instances [0.0]
24個の単目的ノイズレス関数からなるブラックボックス最適化ベンチマーク(BBOB)スイートは10年以上にわたって標準であった。
我々は,各BBOB問題に対する500インスタンスのセットを考慮し,BBOBインスタンス作成プロトコルを検討する。
本稿では,BBOBインスタンスにまたがる景観特徴の分布が,多数の問題に対して非常に多様であることを示す。
論文 参考訳（メタデータ） (2022-11-29T15:58:45Z) - Enhancing Explainability of Hyperparameter Optimization via Bayesian
Algorithm Execution [13.037647287689438]
部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。
我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。
提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
論文 参考訳（メタデータ） (2022-06-11T07:12:04Z) - FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。
我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
論文 参考訳（メタデータ） (2022-06-08T15:29:10Z) - A survey on multi-objective hyperparameter optimization algorithms for
Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。
メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。
また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文 参考訳（メタデータ） (2021-11-23T10:22:30Z) - Searching in the Forest for Local Bayesian Optimization [5.939410304994348]
本研究では,中規模構成空間に適した2段階アプローチBOinGを提案する。
BOinGは一般的なHPO問題の構造を活用でき、特に合成機能やHPOによる中規模問題でよく機能する。
論文 参考訳（メタデータ） (2021-11-10T18:25:10Z) - Hyperparameter Optimization: Foundations, Algorithms, Best Practices and
Open Challenges [5.139260825952818]
本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。
HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
論文 参考訳（メタデータ） (2021-07-13T04:55:47Z) - An Empirical Study on Hyperparameter Optimization for Fine-Tuning
Pre-trained Language Models [10.599060942412144]
GLUEデータセット上で2つの最先端言語モデルを微調整したHPOアルゴリズムの性能について検討・報告する。
同じ時間予算で、HPOは2つの理由でグリッド検索を上回りません。
論文 参考訳（メタデータ） (2021-06-17T01:58:32Z) - Resource Planning for Hospitals Under Special Consideration of the
COVID-19 Pandemic: Optimization and Sensitivity Analysis [87.31348761201716]
新型コロナウイルス(covid-19)パンデミックのような危機は、医療機関にとって深刻な課題となる。
BaBSim.Hospitalは離散イベントシミュレーションに基づく容量計画ツールである。
BaBSim.Hospitalを改善するためにこれらのパラメータを調査し最適化することを目指しています。
論文 参考訳（メタデータ） (2021-05-16T12:38:35Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳（メタデータ） (2021-01-17T04:55:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。