論文の概要: FlexHB: a More Efficient and Flexible Framework for Hyperparameter
Optimization
- arxiv url: http://arxiv.org/abs/2402.13641v1
- Date: Wed, 21 Feb 2024 09:18:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 16:07:39.579062
- Title: FlexHB: a More Efficient and Flexible Framework for Hyperparameter
Optimization
- Title(参考訳): FlexHB:ハイパーパラメータ最適化のためのより効率的で柔軟なフレームワーク
- Authors: Yang Zhang, Haiyang Wu, Yuekui Yang
- Abstract要約: 連続的Halving(SH)による早期停止のためのフレームワークを設計し,その限界に多要素BOをプッシュする新しい手法であるFlexHBを提案する。
提案手法は,様々なHPOタスクにおいて,優れた効率性を実現し,他の手法よりも優れる。
- 参考スコア(独自算出の注目度): 4.127081624438282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a Hyperparameter Optimization(HPO) problem, how to design an algorithm
to find optimal configurations efficiently? Bayesian Optimization(BO) and the
multi-fidelity BO methods employ surrogate models to sample configurations
based on history evaluations. More recent studies obtain better performance by
integrating BO with HyperBand(HB), which accelerates evaluation by early
stopping mechanism. However, these methods ignore the advantage of a suitable
evaluation scheme over the default HyperBand, and the capability of BO is still
constrained by skewed evaluation results. In this paper, we propose FlexHB, a
new method pushing multi-fidelity BO to the limit as well as re-designing a
framework for early stopping with Successive Halving(SH). Comprehensive study
on FlexHB shows that (1) our fine-grained fidelity method considerably enhances
the efficiency of searching optimal configurations, (2) our FlexBand framework
(self-adaptive allocation of SH brackets, and global ranking of configurations
in both current and past SH procedures) grants the algorithm with more
flexibility and improves the anytime performance. Our method achieves superior
efficiency and outperforms other methods on various HPO tasks. Empirical
results demonstrate that FlexHB can achieve up to 6.9X and 11.1X speedups over
the state-of-the-art MFES-HB and BOHB respectively.
- Abstract(参考訳): ハイパーパラメータ最適化(HPO)問題を考えると、最適な構成を効率的に見つけるアルゴリズムをどう設計するか?
ベイズ最適化(BO)と多要素BO法では,履歴評価に基づくサンプル構成に代理モデルを用いる。
近年の研究では, BOとHyperBand(HB)を統合することにより, 早期停止機構による評価が促進される。
しかし、これらの手法はデフォルトのハイパーバンドよりも適切な評価方式の利点を無視しており、boの能力は歪んだ評価結果によって制限されている。
本稿では,多相BOを限界まで押し上げる新しい手法であるFlexHBを提案するとともに,逐次Halving(SH)による早期停止のためのフレームワークを再設計する。
FlexHBの包括的研究は,1) 最適構成の探索効率を大幅に向上させ,(2) FlexBandフレームワーク(SHブラケットの自己適応的アロケーション,および現在および過去のSHプロシージャにおける構成のグローバルなランキング)により,アルゴリズムの柔軟性が向上し,常に性能が向上することを示した。
本手法は優れた効率を実現し,様々なhpoタスクにおいて他の手法よりも優れる。
実験の結果、FlexHBは最先端のMFES-HBとBOHBで最大6.9Xと1.1Xのスピードアップを達成することができた。
関連論文リスト
- Enhanced Bayesian Optimization via Preferential Modeling of Abstract
Properties [49.351577714596544]
本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。
優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
論文 参考訳(メタデータ) (2024-02-27T09:23:13Z) - Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。
高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。
以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
論文 参考訳(メタデータ) (2024-02-06T11:44:06Z) - Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳(メタデータ) (2024-02-05T02:54:50Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳(メタデータ) (2023-07-25T09:45:47Z) - Multi-Fidelity Bayesian Optimization with Unreliable Information Sources [12.509709549771385]
GPベースのMFBOスキームを信頼性のない情報ソースの追加により堅牢にするためのrMFBO(robust MFBO)を提案する。
提案手法の有効性を,多数の数値ベンチマークで示す。
rMFBOは、BOプロセスに様々な知識を持つ人間の専門家を確実に含めるのに特に有用であると考えています。
論文 参考訳(メタデータ) (2022-10-25T11:47:33Z) - Enhancing Explainability of Hyperparameter Optimization via Bayesian
Algorithm Execution [13.037647287689438]
部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。
我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。
提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
論文 参考訳(メタデータ) (2022-06-11T07:12:04Z) - FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。
我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
論文 参考訳(メタデータ) (2022-06-08T15:29:10Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳(メタデータ) (2022-05-26T12:51:32Z) - Sparse Bayesian Optimization [16.867375370457438]
よりスパースで解釈可能な構成を発見できる正規化ベースのアプローチをいくつか提示する。
そこで本研究では,同相連続に基づく新たな微分緩和法を提案し,空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間
スパシティのために効率的に最適化できることが示されています。
論文 参考訳(メタデータ) (2022-03-03T18:25:33Z) - DEHB: Evolutionary Hyberband for Scalable, Robust and Efficient
Hyperparameter Optimization [33.80873355096445]
我々はDHBと呼ばれる新しいHPO法を提案する。
従来のHPO法よりもはるかに強靭な性能を実現している。
また、計算時間でも効率的であり、概念的にはシンプルで実装が容易であり、新しいデフォルトHPO法に位置づけられる。
論文 参考訳(メタデータ) (2021-05-20T15:13:30Z) - MFES-HB: Efficient Hyperband with Multi-Fidelity Quality Measurements [34.75195640330286]
MFES-HBは高忠実度と低忠実度の両方を有効活用できる高帯域法である。
我々は,MFES-HBが最先端アプローチであるBOHBよりも3.3~8.9倍の高速化を実現することを示す。
論文 参考訳(メタデータ) (2020-12-05T11:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。