論文の概要: Multi-objective Tree-structured Parzen Estimator Meets Meta-learning

• arxiv url: http://arxiv.org/abs/2212.06751v1
• Date: Tue, 13 Dec 2022 17:33:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 13:54:20.418397
• Title: Multi-objective Tree-structured Parzen Estimator Meets Meta-learning
• Title（参考訳）: 多目的木構造パーゼ推定器のメタラーニング
• Authors: Shuhei Watanabe, Noow Awad, Masaki Onishi, Frank Hutter
• Abstract要約: 各タスクの有望なドメインの重複によって定義されるタスク類似性を用いて、TPEの取得機能をメタラーニング設定に拡張する。 また,AutoML 2022コンペティションで優勝した。
• 参考スコア（独自算出の注目度）: 37.553558410770314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization (HPO) is essential for the better performance of deep learning, and practitioners often need to consider the trade-off between multiple metrics, such as error rate, latency, memory requirements, robustness, and algorithmic fairness. Due to this demand and the heavy computation of deep learning, the acceleration of multi-objective (MO) optimization becomes ever more important. Although meta-learning has been extensively studied to speedup HPO, existing methods are not applicable to the MO tree-structured parzen estimator (MO-TPE), a simple yet powerful MO-HPO algorithm. In this paper, we extend TPE's acquisition function to the meta-learning setting, using a task similarity defined by the overlap in promising domains of each task. In a comprehensive set of experiments, we demonstrate that our method accelerates MO-TPE on tabular HPO benchmarks and yields state-of-the-art performance. Our method was also validated externally by winning the AutoML 2022 competition on "Multiobjective Hyperparameter Optimization for Transformers".
• Abstract（参考訳）: ハイパーパラメータ最適化(hpo)はディープラーニングのパフォーマンス向上に不可欠であり、エラーレート、レイテンシ、メモリ要件、堅牢性、アルゴリズムの公平性など、複数のメトリクス間のトレードオフを考慮する必要がある場合が多い。 この需要と深層学習の重い計算のために、多目的最適化(mo)の加速はますます重要になっている。 メタラーニングはHPOを高速化するために広く研究されているが、既存の手法はMO木構造パーゼン推定器(MO-TPE)には適用できない。 本稿では,各タスクの有望領域の重複によって定義されるタスク類似性を用いて,TPEの取得機能をメタ学習環境に拡張する。 総合的な実験において,本手法は表付きHPOベンチマーク上でMO-TPEを高速化し,最先端性能が得られることを示した。 また, AutoML 2022 コンペティション "Multiobjective Hyperparameter Optimization for Transformers" で優勝した。

関連論文リスト

• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,新しいパイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法に比べて,プリフィルスループットが平均21%向上していることが判明した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Large Language Model Agent for Hyper-Parameter Optimization [30.560250427498243]
  多様な機械学習タスクにまたがるハイパーパラメータ最適化を自動化するために,LLM(Large Language Models)を活用した新しいパラダイムを導入する。 AgentHPOはタスク情報を自律的に処理し、特定のハイパーパラメータで実験を行い、反復的にそれらを最適化する。 このヒューマンライクな最適化プロセスは、必要な試行回数を大幅に削減し、セットアッププロセスを単純化し、解釈可能性とユーザ信頼を高める。
  論文  参考訳（メタデータ） (2024-02-02T20:12:05Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• MO-DEHB: Evolutionary-based Hyperband for Multi-Objective Optimization [30.54386890506418]
  MO-DEHB は、最近の進化的ハイパーバンド法 DEHB を拡張した、効果的で柔軟な多目的(MO)である。 最先端のMOに対する比較研究は、MO-DEHBが15のベンチマークで明らかに最高のパフォーマンスを達成していることを示している。
  論文  参考訳（メタデータ） (2023-05-08T06:53:40Z)
• Two-step hyperparameter optimization method: Accelerating hyperparameter search by using a fraction of a training dataset [0.15420205433587747]
  計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。 我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
  論文  参考訳（メタデータ） (2023-02-08T02:38:26Z)
• c-TPE: Tree-structured Parzen Estimator with Inequality Constraints for Expensive Hyperparameter Optimization [45.67326752241075]
  本稿では,この制約に対処するための制約付きTPE (c-TPE) を提案する。 提案するエクステンションは,既存の取得関数とオリジナルのTPEの単純な組み合わせに留まらず,パフォーマンスの低下の原因となる問題に対処する修正も含んでいる。 実験では,C-TPEは,不等式制約のある81のHPOに対して,統計的に有意な既存の手法の中で,最高の平均ランク性能を示すことを示した。
  論文  参考訳（メタデータ） (2022-11-26T00:25:11Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Self-Evolutionary Optimization for Pareto Front Learning [34.17125297176668]
  マルチタスク問題に対する多目的最適化(MOO)手法が提案されている。 最近のMOO法は、単一の統一モデルで複数の最適解(パレートフロント)を近似する。 PFLは複数の目的を持つ別のMOO問題に再変換可能であることを示し、それぞれがタスクの好みの重みに対応していることを示す。
  論文  参考訳（メタデータ） (2021-10-07T13:38:57Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。