論文の概要: YAHPO Gym -- Design Criteria and a new Multifidelity Benchmark for Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2109.03670v1
• Date: Wed, 8 Sep 2021 14:16:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-09 13:58:01.200093
• Title: YAHPO Gym -- Design Criteria and a new Multifidelity Benchmark for Hyperparameter Optimization
• Title（参考訳）: YAHPO Gym -- 設計基準とハイパーパラメータ最適化のための新しい多要素ベンチマーク
• Authors: Florian Pfisterer, Lennart Schneider, Julia Moosbauer, Martin Binder, Bernd Bischl
• Abstract要約: 我々は,700以上の多相HPO問題を構成する9つのベンチマークコレクションからなる,多相HPOメソッドのためのサロゲートベースのベンチマークスイートを提案する。 すべてのベンチマークでは、複数の最適化ターゲットのクエリも可能で、多目的HPOのベンチマークを可能にします。
• 参考スコア（独自算出の注目度）: 1.0718353079920009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When developing and analyzing new hyperparameter optimization (HPO) methods, it is vital to empirically evaluate and compare them on well-curated benchmark suites. In this work, we list desirable properties and requirements for such benchmarks and propose a new set of challenging and relevant multifidelity HPO benchmark problems motivated by these requirements. For this, we revisit the concept of surrogate-based benchmarks and empirically compare them to more widely-used tabular benchmarks, showing that the latter ones may induce bias in performance estimation and ranking of HPO methods. We present a new surrogate-based benchmark suite for multifidelity HPO methods consisting of 9 benchmark collections that constitute over 700 multifidelity HPO problems in total. All our benchmarks also allow for querying of multiple optimization targets, enabling the benchmarking of multi-objective HPO. We examine and compare our benchmark suite with respect to the defined requirements and show that our benchmarks provide viable additions to existing suites.
• Abstract（参考訳）: 新たなハイパーパラメータ最適化法(HPO)を開発し,解析する際には,よく計算されたベンチマークスイート上で実験的に評価し,比較することが不可欠である。 本研究は,これらのベンチマークの望ましい特性と要件をリストアップし,これらの要求に動機付けられた,困難かつ関連性の高いHPOベンチマーク問題を新たに提案する。 そこで我々は,サロゲート型ベンチマークの概念を再検討し,より広範に使用されている表型ベンチマークと比較し,HPO法の性能評価と評価のバイアスを生じさせることを示した。 我々は,700以上の多相HPO問題を構成する9つのベンチマークコレクションからなる,多相HPOメソッドのためのサロゲートベースのベンチマークスイートを提案する。 すべてのベンチマークでは、複数の最適化ターゲットのクエリも可能で、多目的HPOのベンチマークを可能にします。 定義された要件に関してベンチマークスイートを調べ比較し、ベンチマークが既存のスイートに実行可能な追加を提供することを示す。

関連論文リスト

• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• LMEMs for post-hoc analysis of HPO Benchmarking [38.39259273088395]
  我々は,HPOベンチマークの実行後解析に線形混合効果モデル(LMEM)の意義試験を適用した。 LMEMは、ベンチマークメタ機能などの情報を含む実験データ全体のフレキシブルで表現力のあるモデリングを可能にする。 本稿では,本論文で報告されていない知見を見つけるために,PresideBand論文の実験データに関するケーススタディを通じてこれを実証する。
  論文  参考訳（メタデータ） (2024-08-05T15:03:19Z)
• Benchmarking PtO and PnO Methods in the Predictive Combinatorial Optimization Regime [59.27851754647913]
  予測最適化(英: Predictive optimization)は、エネルギーコストを意識したスケジューリングや広告予算配分など、多くの現実世界のアプリケーションの正確なモデリングである。 我々は,広告のための新しい産業データセットを含む8つの問題に対して,既存のPtO/PnOメソッド11をベンチマークするモジュラーフレームワークを開発した。 本研究は,8ベンチマーク中7ベンチマークにおいて,PnOアプローチがPtOよりも優れていることを示すが,PnOの設計選択に銀の弾丸は見つからない。
  論文  参考訳（メタデータ） (2023-11-13T13:19:34Z)
• Obeying the Order: Introducing Ordered Transfer Hyperparameter Optimisation [10.761476482982077]
  OTHPOは、タスクが逐次順序に従うトランスファー学習のバージョンである。 10のベンチマークを用いた順序付けの重要性を実証的に示す。 我々はこのベンチマークをオープンソースとして公開し、注文転送HPOの今後の研究を奨励する。
  論文  参考訳（メタデータ） (2023-06-29T13:08:36Z)
• FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
  本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-08T15:29:10Z)
• QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization [116.56171113972944]
  QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。 提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T00:38:35Z)
• A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
  本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。 メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。 また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
  論文  参考訳（メタデータ） (2021-11-23T10:22:30Z)
• HPOBench: A Collection of Reproducible Multi-Fidelity Benchmark Problems for HPO [30.89560505052524]
  我々は,既存の7つのベンチマークファミリと5つの新しいベンチマークファミリを含むHPOBenchを提案する。 HPOBenchは、個々のベンチマークをコンテナに分離してパッケージ化することで、再現可能な方法で、この拡張可能なマルチフィデリティHPOベンチマークを実行することができる。
  論文  参考訳（メタデータ） (2021-09-14T14:28:51Z)
• HPO-B: A Large-Scale Reproducible Benchmark for Black-Box HPO based on OpenML [5.735035463793008]
  我々はHPOアルゴリズムを比較するための大規模ベンチマークであるHPO-Bを提案する。 ベンチマークはOpenMLリポジトリから収集され、事前処理されています。 我々は,非伝達学習および伝達学習HPOの手法の比較のための,明示的な実験的プロトコル,分割,評価方法について詳述する。
  論文  参考訳（メタデータ） (2021-06-11T09:18:39Z)
• Do Question Answering Modeling Improvements Hold Across Benchmarks? [84.48867898593052]
  20種類の多種多様なモデリング手法を用いて32のQAベンチマークの一致を計測する。 何年にもわたってコミュニティは少数のベンチマークに力を入れてきたが、研究対象のモデリングの改善は広く続いている。
  論文  参考訳（メタデータ） (2021-02-01T18:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。