論文の概要: HPOBench: A Collection of Reproducible Multi-Fidelity Benchmark Problems for HPO

• arxiv url: http://arxiv.org/abs/2109.06716v1
• Date: Tue, 14 Sep 2021 14:28:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 15:32:15.633140
• Title: HPOBench: A Collection of Reproducible Multi-Fidelity Benchmark Problems for HPO
• Title（参考訳）: HPOBench: HPOの再現可能なマルチファイルベンチマーク問題集
• Authors: Katharina Eggensperger, Philipp M\"uller, Neeratyoy Mallik, Matthias Feurer, Ren\'e Sass, Aaron Klein, Noor Awad, Marius Lindauer, Frank Hutter
• Abstract要約: 我々は,既存の7つのベンチマークファミリと5つの新しいベンチマークファミリを含むHPOBenchを提案する。 HPOBenchは、個々のベンチマークをコンテナに分離してパッケージ化することで、再現可能な方法で、この拡張可能なマルチフィデリティHPOベンチマークを実行することができる。
• 参考スコア（独自算出の注目度）: 30.89560505052524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To achieve peak predictive performance, hyperparameter optimization (HPO) is a crucial component of machine learning and its applications. Over the last years,the number of efficient algorithms and tools for HPO grew substantially. At the same time, the community is still lacking realistic, diverse, computationally cheap,and standardized benchmarks. This is especially the case for multi-fidelity HPO methods. To close this gap, we propose HPOBench, which includes 7 existing and 5 new benchmark families, with in total more than 100 multi-fidelity benchmark problems. HPOBench allows to run this extendable set of multi-fidelity HPO benchmarks in a reproducible way by isolating and packaging the individual benchmarks in containers. It also provides surrogate and tabular benchmarks for computationally affordable yet statistically sound evaluations. To demonstrate the broad compatibility of HPOBench and its usefulness, we conduct an exemplary large-scale study evaluating 6 well known multi-fidelity HPO tools.
• Abstract（参考訳）: ピーク予測性能を達成するため、ハイパーパラメータ最適化(HPO)は機械学習とその応用の重要なコンポーネントである。 ここ数年、HPOの効率的なアルゴリズムとツールの数は大幅に増加した。 同時にコミュニティは、まだ現実的な、多様で、計算量的に安価で、標準化されたベンチマークを欠いている。 これは特に多元性hpo法の場合である。 このギャップを埋めるために、我々は、既存の7つのベンチマークファミリと5つの新しいベンチマークファミリを含む、合計100以上のマルチフィデリティベンチマーク問題を含むhpobenchを提案する。 HPOBenchは、個々のベンチマークをコンテナに分離してパッケージ化することで、再現可能な方法で、この拡張可能なマルチフィデリティHPOベンチマークを実行することができる。 また、計算量的に安価だが統計的に健全な評価のためのサーロゲートおよび表式ベンチマークを提供する。 我々はHPOBenchの幅広い互換性と有用性を示すために,HPOツールを6つのよく知られた多機能HPOツールを用いて評価した。

関連論文リスト

• Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
  本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。 挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• The Perfect Blend: Redefining RLHF with Mixture of Judges [68.58426626501883]
  人間のフィードバックによる強化学習(RLHF)が,大規模言語モデル(LLM)の指導的アプローチとなっている。 MTLにRLHFを適用するには、現在、報酬モデルとデータの組み合わせに対する重み付けを慎重に調整する必要がある。 CGPO(Constrained Generative Policy Optimization)と呼ばれる新しいポストトレーニングパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-09-30T15:06:53Z)
• Fast Benchmarking of Asynchronous Multi-Fidelity Optimization on Zero-Cost Benchmarks [40.8406006936244]
  我々は、ゼロコストベンチマークで効率的な並列HPOを実現するPythonパッケージを紹介した。 提案手法は,ファイルシステムに格納された情報に基づいて,正確な返却順序を算出する。 私たちのパッケージは pip install mfhpo-simulator でインストールできます。
  論文  参考訳（メタデータ） (2024-03-04T09:49:35Z)
• FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
  本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-08T15:29:10Z)
• LassoBench: A High-Dimensional Hyperparameter Optimization Benchmark Suite for Lasso [84.6451154376526]
  LassoBenchは、Lassoコミュニティで重要なオープンリサーチトピックに適した、新しいベンチマークスイートである。 我々は5つの最先端HPO法と3つのベースラインを評価し、ベイズ最適化が、特にスパース回帰によく用いられる手法よりも改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-04T12:05:09Z)
• YAHPO Gym -- Design Criteria and a new Multifidelity Benchmark for Hyperparameter Optimization [1.0718353079920009]
  我々は,700以上の多相HPO問題を構成する9つのベンチマークコレクションからなる,多相HPOメソッドのためのサロゲートベースのベンチマークスイートを提案する。 すべてのベンチマークでは、複数の最適化ターゲットのクエリも可能で、多目的HPOのベンチマークを可能にします。
  論文  参考訳（メタデータ） (2021-09-08T14:16:31Z)
• Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
  本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2021-07-13T04:55:47Z)
• HPO-B: A Large-Scale Reproducible Benchmark for Black-Box HPO based on OpenML [5.735035463793008]
  我々はHPOアルゴリズムを比較するための大規模ベンチマークであるHPO-Bを提案する。 ベンチマークはOpenMLリポジトリから収集され、事前処理されています。 我々は,非伝達学習および伝達学習HPOの手法の比較のための,明示的な実験的プロトコル,分割,評価方法について詳述する。
  論文  参考訳（メタデータ） (2021-06-11T09:18:39Z)
• The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games [67.47961797770249]
  マルチエージェントPPO(MAPPO)は、集中型値関数を採用するマルチエージェントPPOバリアントである。 MAPPOは,3つの一般的なマルチエージェントテストベッドにおいて,最先端技術に匹敵する性能を実現していることを示す。
  論文  参考訳（メタデータ） (2021-03-02T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。