論文の概要: MO-DEHB: Evolutionary-based Hyperband for Multi-Objective Optimization
- arxiv url: http://arxiv.org/abs/2305.04502v2
- Date: Thu, 11 May 2023 07:32:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 11:23:18.131966
- Title: MO-DEHB: Evolutionary-based Hyperband for Multi-Objective Optimization
- Title(参考訳): MO-DEHB:多目的最適化のための進化的ハイパーバンド
- Authors: Noor Awad, Ayushi Sharma, Philipp Muller, Janek Thomas and Frank
Hutter
- Abstract要約: MO-DEHB は、最近の進化的ハイパーバンド法 DEHB を拡張した、効果的で柔軟な多目的(MO)である。
最先端のMOに対する比較研究は、MO-DEHBが15のベンチマークで明らかに最高のパフォーマンスを達成していることを示している。
- 参考スコア(独自算出の注目度): 30.54386890506418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperparameter optimization (HPO) is a powerful technique for automating the
tuning of machine learning (ML) models. However, in many real-world
applications, accuracy is only one of multiple performance criteria that must
be considered. Optimizing these objectives simultaneously on a complex and
diverse search space remains a challenging task. In this paper, we propose
MO-DEHB, an effective and flexible multi-objective (MO) optimizer that extends
the recent evolutionary Hyperband method DEHB. We validate the performance of
MO-DEHB using a comprehensive suite of 15 benchmarks consisting of diverse and
challenging MO problems, including HPO, neural architecture search (NAS), and
joint NAS and HPO, with objectives including accuracy, latency and algorithmic
fairness. A comparative study against state-of-the-art MO optimizers
demonstrates that MO-DEHB clearly achieves the best performance across our 15
benchmarks.
- Abstract(参考訳): ハイパーパラメータ最適化(HPO)は機械学習(ML)モデルのチューニングを自動化する強力な技術である。
しかし、多くの実世界のアプリケーションでは、精度は考慮すべき複数の性能基準の1つである。
これらの目的を複雑で多様な検索空間で同時に最適化することは、依然として困難な課題である。
本稿では,最近の進化的ハイパーバンド法であるdehbを拡張した,効率的で柔軟なマルチ目的(mo)オプティマイザであるmo-dehbを提案する。
我々は,hso,neural architecture search (nas),nasとhsoの統合など,多様で挑戦的なmo問題からなる15のベンチマークスイートを用いて,mo-dehbの性能を検証する。
最先端のMOオプティマイザに対する比較研究は、MO-DEHBが15ベンチマークで明らかに最高のパフォーマンスを実現していることを示している。
関連論文リスト
- Diversifying the Mixture-of-Experts Representation for Language Models
with Orthogonal Optimizer [62.41501243027603]
The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。
本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。
我々は,エキスパートエンティティであるOMoEという,単純かつ高効率なソリューションを提案する。
論文 参考訳(メタデータ) (2023-10-15T07:20:28Z) - Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct
Preference Optimization [78.50294936259026]
我々は、最小限のオーバーヘッドで複数のアライメント目標に対して、MODPO(Multi-Objective Direct Preference Optimization)を提案する。
MODPOは言語モデリングを直接報酬モデリングに折り畳み、全ての目的を特定の重み付けと組み合わせた暗黙的な集団報酬モデル(cRM)としてLMを訓練する。
理論上は MORLHF と同じ最適解を生成することが保証されているが、MODPO は事実上より安定で計算的に効率的である。
論文 参考訳(メタデータ) (2023-10-05T17:35:26Z) - Multi-Objective Population Based Training [62.997667081978825]
Population Based Training (PBT) は効率的なハイパーパラメータ最適化アルゴリズムである。
本研究ではPBTの多目的版であるMO-PBTを紹介する。
論文 参考訳(メタデータ) (2023-06-02T10:54:24Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - Multi objective Fitness Dependent Optimizer Algorithm [19.535715565093764]
本稿では、最近導入されたフィットネス依存型(FDO)の多目的変種を提案する。
このアルゴリズムはMOFDO(Multi objective Fitness Dependent)と呼ばれ、FDOのように5種類の知識(situational, normative, topographical, domain, historical knowledge)を備えている。
提案アルゴリズムは,多種多様な分散可能な実現可能解を提供することで,意思決定者がより適用可能な快適な選択をすることができる。
論文 参考訳(メタデータ) (2023-01-26T06:33:53Z) - Speeding Up Multi-Objective Hyperparameter Optimization by Task
Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator [37.553558410770314]
本稿では,タスク間のトップドメインの重複によって定義されるタスク類似性を用いて,TPEの取得機能をメタラーニング設定に拡張する。
実験では,表付きHPOベンチマークでMO-TPEを高速化し,最先端の性能が得られることを示した。
論文 参考訳(メタデータ) (2022-12-13T17:33:02Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳(メタデータ) (2022-09-09T14:58:43Z) - Multi-objective Pointer Network for Combinatorial Optimization [10.286195356515355]
多目的最適化問題(MOCOP)は、様々な実応用に存在している。
最適化問題に対する近似最適解を生成するために, 深部強化学習法 (DRL) が提案されている。
本研究では,MOPN(Multi-objective Pointer Network)と呼ばれる単一モデル深層強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-25T14:02:34Z) - A survey on multi-objective hyperparameter optimization algorithms for
Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。
メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。
また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文 参考訳(メタデータ) (2021-11-23T10:22:30Z) - Multi-objective Asynchronous Successive Halving [10.632606255280649]
本稿では,非同期半減期 (ASHA) を多目的 (MO) 設定に拡張するアルゴリズムを提案する。
実験分析の結果,MO ASHAはMO HPOを大規模に実行可能であることがわかった。
我々のアルゴリズムは、この地域における将来の研究の新たなベースラインを確立する。
論文 参考訳(メタデータ) (2021-06-23T19:39:31Z) - DEHB: Evolutionary Hyberband for Scalable, Robust and Efficient
Hyperparameter Optimization [33.80873355096445]
我々はDHBと呼ばれる新しいHPO法を提案する。
従来のHPO法よりもはるかに強靭な性能を実現している。
また、計算時間でも効率的であり、概念的にはシンプルで実装が容易であり、新しいデフォルトHPO法に位置づけられる。
論文 参考訳(メタデータ) (2021-05-20T15:13:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。