論文の概要: MO-DEHB: Evolutionary-based Hyperband for Multi-Objective Optimization

• arxiv url: http://arxiv.org/abs/2305.04502v2
• Date: Thu, 11 May 2023 07:32:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 11:23:18.131966
• Title: MO-DEHB: Evolutionary-based Hyperband for Multi-Objective Optimization
• Title（参考訳）: MO-DEHB:多目的最適化のための進化的ハイパーバンド
• Authors: Noor Awad, Ayushi Sharma, Philipp Muller, Janek Thomas and Frank Hutter
• Abstract要約: MO-DEHB は、最近の進化的ハイパーバンド法 DEHB を拡張した、効果的で柔軟な多目的(MO)である。 最先端のMOに対する比較研究は、MO-DEHBが15のベンチマークで明らかに最高のパフォーマンスを達成していることを示している。
• 参考スコア（独自算出の注目度）: 30.54386890506418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperparameter optimization (HPO) is a powerful technique for automating the tuning of machine learning (ML) models. However, in many real-world applications, accuracy is only one of multiple performance criteria that must be considered. Optimizing these objectives simultaneously on a complex and diverse search space remains a challenging task. In this paper, we propose MO-DEHB, an effective and flexible multi-objective (MO) optimizer that extends the recent evolutionary Hyperband method DEHB. We validate the performance of MO-DEHB using a comprehensive suite of 15 benchmarks consisting of diverse and challenging MO problems, including HPO, neural architecture search (NAS), and joint NAS and HPO, with objectives including accuracy, latency and algorithmic fairness. A comparative study against state-of-the-art MO optimizers demonstrates that MO-DEHB clearly achieves the best performance across our 15 benchmarks.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は機械学習(ML)モデルのチューニングを自動化する強力な技術である。 しかし、多くの実世界のアプリケーションでは、精度は考慮すべき複数の性能基準の1つである。 これらの目的を複雑で多様な検索空間で同時に最適化することは、依然として困難な課題である。 本稿では,最近の進化的ハイパーバンド法であるdehbを拡張した,効率的で柔軟なマルチ目的(mo)オプティマイザであるmo-dehbを提案する。 我々は,hso,neural architecture search (nas),nasとhsoの統合など,多様で挑戦的なmo問題からなる15のベンチマークスイートを用いて,mo-dehbの性能を検証する。 最先端のMOオプティマイザに対する比較研究は、MO-DEHBが15ベンチマークで明らかに最高のパフォーマンスを実現していることを示している。

関連論文リスト

• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,新しいパイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法に比べて,プリフィルスループットが平均21%向上していることが判明した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• FastBO: Fast HPO and NAS with Adaptive Fidelity Identification [29.594900930334216]
  本研究では,FastBO という多要素BO法を提案し,各構成の忠実度を適応的に決定し,高い性能を実現する。 また、適応的忠実度識別戦略は、任意の単一忠実度法を多忠実度設定に拡張する手段を提供することを示した。
  論文  参考訳（メタデータ） (2024-09-01T02:40:04Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Multi-Objective Population Based Training [62.997667081978825]
  Population Based Training (PBT) は効率的なハイパーパラメータ最適化アルゴリズムである。 本研究ではPBTの多目的版であるMO-PBTを紹介する。
  論文  参考訳（メタデータ） (2023-06-02T10:54:24Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Speeding Up Multi-Objective Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator [37.553558410770314]
  本稿では,タスク間のトップドメインの重複によって定義されるタスク類似性を用いて,TPEの取得機能をメタラーニング設定に拡張する。 実験では,表付きHPOベンチマークでMO-TPEを高速化し,最先端の性能が得られることを示した。
  論文  参考訳（メタデータ） (2022-12-13T17:33:02Z)
• Multi-objective Pointer Network for Combinatorial Optimization [10.286195356515355]
  多目的最適化問題(MOCOP)は、様々な実応用に存在している。 最適化問題に対する近似最適解を生成するために, 深部強化学習法 (DRL) が提案されている。 本研究では,MOPN(Multi-objective Pointer Network)と呼ばれる単一モデル深層強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-25T14:02:34Z)
• A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
  本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。 メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。 また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
  論文  参考訳（メタデータ） (2021-11-23T10:22:30Z)
• Multi-objective Asynchronous Successive Halving [10.632606255280649]
  本稿では,非同期半減期 (ASHA) を多目的 (MO) 設定に拡張するアルゴリズムを提案する。 実験分析の結果,MO ASHAはMO HPOを大規模に実行可能であることがわかった。 我々のアルゴリズムは、この地域における将来の研究の新たなベースラインを確立する。
  論文  参考訳（メタデータ） (2021-06-23T19:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。