論文の概要: MFES-HB: Efficient Hyperband with Multi-Fidelity Quality Measurements
- arxiv url: http://arxiv.org/abs/2012.03011v1
- Date: Sat, 5 Dec 2020 11:51:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-22 12:04:07.015034
- Title: MFES-HB: Efficient Hyperband with Multi-Fidelity Quality Measurements
- Title（参考訳）: MFES-HB:マルチファイダリティ品質測定による高効率ハイパーバンド
- Authors: Yang Li, Yu Shen, Jiawei Jiang, Jinyang Gao, Ce Zhang, Bin Cui
- Abstract要約: MFES-HBは高忠実度と低忠実度の両方を有効活用できる高帯域法である。
我々は,MFES-HBが最先端アプローチであるBOHBよりも3.3～8.9倍の高速化を実現することを示す。
- 参考スコア（独自算出の注目度）: 34.75195640330286
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter optimization (HPO) is a fundamental problem in automatic
machine learning (AutoML). However, due to the expensive evaluation cost of
models (e.g., training deep learning models or training models on large
datasets), vanilla Bayesian optimization (BO) is typically computationally
infeasible. To alleviate this issue, Hyperband (HB) utilizes the early stopping
mechanism to speed up configuration evaluations by terminating those
badly-performing configurations in advance. This leads to two kinds of quality
measurements: (1) many low-fidelity measurements for configurations that get
early-stopped, and (2) few high-fidelity measurements for configurations that
are evaluated without being early stopped. The state-of-the-art HB-style
method, BOHB, aims to combine the benefits of both BO and HB. Instead of
sampling configurations randomly in HB, BOHB samples configurations based on a
BO surrogate model, which is constructed with the high-fidelity measurements
only. However, the scarcity of high-fidelity measurements greatly hampers the
efficiency of BO to guide the configuration search. In this paper, we present
MFES-HB, an efficient Hyperband method that is capable of utilizing both the
high-fidelity and low-fidelity measurements to accelerate the convergence of
HPO tasks. Designing MFES-HB is not trivial as the low-fidelity measurements
can be biased yet informative to guide the configuration search. Thus we
propose to build a Multi- Fidelity Ensemble Surrogate (MFES) based on the
generalized Product of Experts framework, which can integrate useful
information from multi-fidelity measurements effectively. The empirical studies
on the real-world AutoML tasks demonstrate that MFES-HB can achieve 3.3-8.9x
speedups over the state-of-the-art approach - BOHB.
- Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は自動機械学習(AutoML)の基本的な問題である。
しかしながら、モデル(例えば、ディープラーニングモデルや大規模データセットのトレーニングモデル)の高価な評価コストのため、バニラベイズ最適化(BO)は一般に計算不可能である。
この問題を緩和するために、Hyperband (HB) は早期停止機構を使用して、これらのひどい性能の構成を事前に停止することで構成評価を高速化する。
その結果,(1)早期に停止する構成の低忠実度測定が多数あり,(2)早期に停止しない構成の高忠実度測定がほとんどない,という2つの品質測定結果が得られた。
最先端のHBスタイルのBOHBはBOとHBの利点を組み合わせることを目的としている。
HBでランダムに構成をサンプリングする代わりに、BOサロゲートモデルに基づいてBOHBは高忠実度測定のみで構成される構成をサンプリングする。
しかし、高忠実度測定の不足はBOの効率を著しく損なうため、構成探索を誘導する。
本稿では,HPOタスクの収束を早めるために,高忠実度と低忠実度の測定の両方を有効活用できる効率的なハイパーバンド手法であるMFES-HBを提案する。
mfes-hbの設計は、低忠実度の測定値が偏っても構成探索のガイドに役立てることができるため、自明ではない。
そこで本研究では,MFES(Multi-Fidelity Ensemble Surrogate)を,多要素計測から有用な情報を効果的に統合可能な一般化されたProduct of Expertsフレームワークに基づいて構築することを提案する。
実世界のAutoMLタスクに関する実証研究は、MFES-HBが最先端のアプローチであるBOHBよりも3.3-8.9倍のスピードアップを達成できることを示した。
関連論文リスト
- Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。
マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。
人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-10-04T04:56:11Z) - FastBO: Fast HPO and NAS with Adaptive Fidelity Identification [29.594900930334216]
本研究では,FastBO という多要素BO法を提案し,各構成の忠実度を適応的に決定し,高い性能を実現する。
また、適応的忠実度識別戦略は、任意の単一忠実度法を多忠実度設定に拡張する手段を提供することを示した。
論文 参考訳（メタデータ） (2024-09-01T02:40:04Z) - FlexHB: a More Efficient and Flexible Framework for Hyperparameter
Optimization [4.127081624438282]
連続的Halving(SH)による早期停止のためのフレームワークを設計し,その限界に多要素BOをプッシュする新しい手法であるFlexHBを提案する。
提案手法は,様々なHPOタスクにおいて,優れた効率性を実現し,他の手法よりも優れる。
論文 参考訳（メタデータ） (2024-02-21T09:18:59Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Is One Epoch All You Need For Multi-Fidelity Hyperparameter
Optimization? [17.21160278797221]
MF-HPO(Multi-fidelity HPO)は、学習過程における中間精度レベルを活用し、早期に低性能モデルを捨てる。
様々な代表的MF-HPO法を,古典的ベンチマークデータに基づく単純なベースラインと比較した。
このベースラインは、計算量を大幅に減らしながら、同等の結果を得た。
論文 参考訳（メタデータ） (2023-07-28T09:14:41Z) - An Empirical Analysis of Parameter-Efficient Methods for Debiasing
Pre-Trained Language Models [55.14405248920852]
各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。
パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。
また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
論文 参考訳（メタデータ） (2023-06-06T23:56:18Z) - Federated Multi-Sequence Stochastic Approximation with Local
Hypergradient Estimation [28.83712379658548]
我々は、多重結合配列(MSA)のための最初のフェデレーション近似アルゴリズムであるFedMSAを開発した。
FedMSAは、ローカルクライアントのアップデートを通じて、BLOとMCOのハイパーグラディエントを証明可能な見積もりを可能にする。
我々は我々の理論を裏付ける実験を行い、FedMSAの実証的な利点を実証する。
論文 参考訳（メタデータ） (2023-06-02T16:17:43Z) - FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。
我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
論文 参考訳（メタデータ） (2022-06-08T15:29:10Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Learning Based Hybrid Beamforming for Millimeter Wave Multi-User MIMO
Systems [22.478350298755892]
本稿では,ビームフォーマの送信と受信を協調的に最適化する極端学習機械(ELM)フレームワークを提案する。
FP-MM-HBF と ELM-HBF はどちらも,既存の手法に比べて高いシステム和率を提供できる。
論文 参考訳（メタデータ） (2020-04-27T16:31:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。