論文の概要: FlexHB: a More Efficient and Flexible Framework for Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2402.13641v1
• Date: Wed, 21 Feb 2024 09:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 16:07:39.579062
• Title: FlexHB: a More Efficient and Flexible Framework for Hyperparameter Optimization
• Title（参考訳）: FlexHB:ハイパーパラメータ最適化のためのより効率的で柔軟なフレームワーク
• Authors: Yang Zhang, Haiyang Wu, Yuekui Yang
• Abstract要約: 連続的Halving(SH)による早期停止のためのフレームワークを設計し,その限界に多要素BOをプッシュする新しい手法であるFlexHBを提案する。 提案手法は,様々なHPOタスクにおいて,優れた効率性を実現し,他の手法よりも優れる。
• 参考スコア（独自算出の注目度）: 4.127081624438282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a Hyperparameter Optimization(HPO) problem, how to design an algorithm to find optimal configurations efficiently? Bayesian Optimization(BO) and the multi-fidelity BO methods employ surrogate models to sample configurations based on history evaluations. More recent studies obtain better performance by integrating BO with HyperBand(HB), which accelerates evaluation by early stopping mechanism. However, these methods ignore the advantage of a suitable evaluation scheme over the default HyperBand, and the capability of BO is still constrained by skewed evaluation results. In this paper, we propose FlexHB, a new method pushing multi-fidelity BO to the limit as well as re-designing a framework for early stopping with Successive Halving(SH). Comprehensive study on FlexHB shows that (1) our fine-grained fidelity method considerably enhances the efficiency of searching optimal configurations, (2) our FlexBand framework (self-adaptive allocation of SH brackets, and global ranking of configurations in both current and past SH procedures) grants the algorithm with more flexibility and improves the anytime performance. Our method achieves superior efficiency and outperforms other methods on various HPO tasks. Empirical results demonstrate that FlexHB can achieve up to 6.9X and 11.1X speedups over the state-of-the-art MFES-HB and BOHB respectively.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)問題を考えると、最適な構成を効率的に見つけるアルゴリズムをどう設計するか? ベイズ最適化(BO)と多要素BO法では,履歴評価に基づくサンプル構成に代理モデルを用いる。 近年の研究では, BOとHyperBand(HB)を統合することにより, 早期停止機構による評価が促進される。 しかし、これらの手法はデフォルトのハイパーバンドよりも適切な評価方式の利点を無視しており、boの能力は歪んだ評価結果によって制限されている。 本稿では,多相BOを限界まで押し上げる新しい手法であるFlexHBを提案するとともに,逐次Halving(SH)による早期停止のためのフレームワークを再設計する。 FlexHBの包括的研究は,1) 最適構成の探索効率を大幅に向上させ,(2) FlexBandフレームワーク(SHブラケットの自己適応的アロケーション,および現在および過去のSHプロシージャにおける構成のグローバルなランキング)により,アルゴリズムの柔軟性が向上し,常に性能が向上することを示した。 本手法は優れた効率を実現し,様々なhpoタスクにおいて他の手法よりも優れる。 実験の結果、FlexHBは最先端のMFES-HBとBOHBで最大6.9Xと1.1Xのスピードアップを達成することができた。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• FastBO: Fast HPO and NAS with Adaptive Fidelity Identification [29.594900930334216]
  本研究では,FastBO という多要素BO法を提案し,各構成の忠実度を適応的に決定し,高い性能を実現する。 また、適応的忠実度識別戦略は、任意の単一忠実度法を多忠実度設定に拡張する手段を提供することを示した。
  論文  参考訳（メタデータ） (2024-09-01T02:40:04Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties [49.351577714596544]
  本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。 優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
  論文  参考訳（メタデータ） (2024-02-27T09:23:13Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Multi-Fidelity Bayesian Optimization with Unreliable Information Sources [12.509709549771385]
  GPベースのMFBOスキームを信頼性のない情報ソースの追加により堅牢にするためのrMFBO(robust MFBO)を提案する。 提案手法の有効性を,多数の数値ベンチマークで示す。 rMFBOは、BOプロセスに様々な知識を持つ人間の専門家を確実に含めるのに特に有用であると考えています。
  論文  参考訳（メタデータ） (2022-10-25T11:47:33Z)
• Sparse Bayesian Optimization [16.867375370457438]
  よりスパースで解釈可能な構成を発見できる正規化ベースのアプローチをいくつか提示する。 そこで本研究では,同相連続に基づく新たな微分緩和法を提案し,空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間 スパシティのために効率的に最適化できることが示されています。
  論文  参考訳（メタデータ） (2022-03-03T18:25:33Z)
• DEHB: Evolutionary Hyberband for Scalable, Robust and Efficient Hyperparameter Optimization [33.80873355096445]
  我々はDHBと呼ばれる新しいHPO法を提案する。 従来のHPO法よりもはるかに強靭な性能を実現している。 また、計算時間でも効率的であり、概念的にはシンプルで実装が容易であり、新しいデフォルトHPO法に位置づけられる。
  論文  参考訳（メタデータ） (2021-05-20T15:13:30Z)
• MFES-HB: Efficient Hyperband with Multi-Fidelity Quality Measurements [34.75195640330286]
  MFES-HBは高忠実度と低忠実度の両方を有効活用できる高帯域法である。 我々は,MFES-HBが最先端アプローチであるBOHBよりも3.3～8.9倍の高速化を実現することを示す。
  論文  参考訳（メタデータ） (2020-12-05T11:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。