論文の概要: HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning
Framework for Data Analytic Services
- arxiv url: http://arxiv.org/abs/2304.10051v1
- Date: Thu, 20 Apr 2023 02:19:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 14:37:49.338948
- Title: HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning
Framework for Data Analytic Services
- Title（参考訳）: HyperTuner: データ分析サービスのための多目的ハイパーパラメータ自動チューニングフレームワーク
- Authors: Hui Dou, Shanshan Zhu, Yiwen Zhang, Pengfei Chen and Zibin Zheng
- Abstract要約: クロス層多目的ハイパーパラメータ自動チューニングを実現するHyperTunerを提案する。
他の4つのベースラインアルゴリズムと比較して,HyperTunerは収束性と多様性の両面で優れていることを示す。
異なるトレーニングデータセット、異なる最適化目標、異なる機械学習プラットフォームによる実験は、HyperTunerがさまざまなデータ分析サービスシナリオに適切に適応できることを検証する。
- 参考スコア（独自算出の注目度）: 25.889791254011794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyper-parameters optimization (HPO) is vital for machine learning models.
Besides model accuracy, other tuning intentions such as model training time and
energy consumption are also worthy of attention from data analytic service
providers. Hence, it is essential to take both model hyperparameters and system
parameters into consideration to execute cross-layer multi-objective
hyperparameter auto-tuning. Towards this challenging target, we propose
HyperTuner in this paper. To address the formulated high-dimensional black-box
multi-objective optimization problem, HyperTuner first conducts multi-objective
parameter importance ranking with its MOPIR algorithm and then leverages the
proposed ADUMBO algorithm to find the Pareto-optimal configuration set. During
each iteration, ADUMBO selects the most promising configuration from the
generated Pareto candidate set via maximizing a new well-designed metric, which
can adaptively leverage the uncertainty as well as the predicted mean across
all the surrogate models along with the iteration times. We evaluate HyperTuner
on our local distributed TensorFlow cluster and experimental results show that
it is always able to find a better Pareto configuration front superior in both
convergence and diversity compared with the other four baseline algorithms.
Besides, experiments with different training datasets, different optimization
objectives and different machine learning platforms verify that HyperTuner can
well adapt to various data analytic service scenarios.
- Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は機械学習モデルにとって不可欠である。
モデル精度に加えて、モデルトレーニング時間やエネルギー消費といった他のチューニング意図も、データ分析サービスプロバイダから注目に値する。
したがって、モデルハイパーパラメータとシステムパラメータの両方を考慮に入れ、多目的マルチパラメータ自動チューニングを実行することが不可欠である。
この挑戦的な目標に向けて,本稿ではHyperTunerを提案する。
定式化された高次元ブラックボックスの多目的最適化問題に対処するため,HyperTuner はまず MOPIR アルゴリズムを用いて多目的パラメータ重要度ランキングを行い,提案した ADUMBO アルゴリズムを用いてパレート最適構成を求める。
それぞれのイテレーションの間、ADUMBOは、生成されたパレート候補セットから最も有望な構成を、新しいよく設計されたメトリクスを最大化することで選択する。
ローカル分散tensorflowクラスタ上でhypertunerを評価し,実験結果から,他の4つのベースラインアルゴリズムと比較して,コンバージェンスと多様性の両面において,pareto構成の面が常に優れていることが分かった。
さらに、異なるトレーニングデータセット、異なる最適化目標、異なる機械学習プラットフォームによる実験は、HyperTunerがさまざまなデータ分析サービスシナリオに適切に適応できることを検証する。
関連論文リスト
- Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。
我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。
公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
論文 参考訳（メタデータ） (2023-10-18T17:56:24Z) - Interactive Hyperparameter Optimization in Multi-Objective Problems via
Preference Learning [65.51668094117802]
我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。
ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
論文 参考訳（メタデータ） (2023-09-07T09:22:05Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳（メタデータ） (2022-07-07T04:42:54Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Fair and Green Hyperparameter Optimization via Multi-objective and
Multiple Information Source Bayesian Optimization [0.19116784879310028]
FanG-HPOは、大規模なデータセット(別名情報ソース)のサブセットを使用して、精度と公正性の双方の安価な近似を得る。
実験では、2つのベンチマーク(フェアネス)データセットと2つの機械学習アルゴリズムが検討されている。
論文 参考訳（メタデータ） (2022-05-18T10:07:21Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-01-27T21:38:53Z) - Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。
我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
論文 参考訳（メタデータ） (2021-11-28T05:27:34Z) - Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for
Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。
マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文 参考訳（メタデータ） (2021-06-17T00:01:18Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳（メタデータ） (2020-02-19T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。