論文の概要: carps: A Framework for Comparing N Hyperparameter Optimizers on M Benchmarks

• arxiv url: http://arxiv.org/abs/2506.06143v1
• Date: Fri, 06 Jun 2025 15:01:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.525572
• Title: carps: A Framework for Comparing N Hyperparameter Optimizers on M Benchmarks
• Title（参考訳）: carps: MベンチマークでNのハイパーパラメータオプティマイザを比較するためのフレームワーク
• Authors: Carolin Benjamins, Helena Graf, Sarah Segel, Difan Deng, Tim Ruhkopf, Leona Hennig, Soham Basu, Neeratyoy Mallik, Edward Bergman, Deyao Chen, François Clément, Matthias Feurer, Katharina Eggensperger, Frank Hutter, Carola Doerr, Marius Lindauer,
• Abstract要約: carpsはComprehensive Automated Research Performance Studiesのベンチマークフレームワークである。 我々は、ブラックボックス、マルチオブジェクト、マルチオブジェクト、マルチオブジェクトの4つの重要なタイプのHPOタスクに焦点をあてる。 5つのコミュニティベンチマークコレクションから336のタスクと28種類の9つのファミリーで、私たちはこれまでで最大のGotoライブラリを提供しています。
• 参考スコア（独自算出の注目度）: 39.19954390982095
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Hyperparameter Optimization (HPO) is crucial to develop well-performing machine learning models. In order to ease prototyping and benchmarking of HPO methods, we propose carps, a benchmark framework for Comprehensive Automated Research Performance Studies allowing to evaluate N optimizers on M benchmark tasks. In this first release of carps, we focus on the four most important types of HPO task types: blackbox, multi-fidelity, multi-objective and multi-fidelity-multi-objective. With 3 336 tasks from 5 community benchmark collections and 28 variants of 9 optimizer families, we offer the biggest go-to library to date to evaluate and compare HPO methods. The carps framework relies on a purpose-built, lightweight interface, gluing together optimizers and benchmark tasks. It also features an analysis pipeline, facilitating the evaluation of optimizers on benchmarks. However, navigating a huge number of tasks while developing and comparing methods can be computationally infeasible. To address this, we obtain a subset of representative tasks by minimizing the star discrepancy of the subset, in the space spanned by the full set. As a result, we propose an initial subset of 10 to 30 diverse tasks for each task type, and include functionality to re-compute subsets as more benchmarks become available, enabling efficient evaluations. We also establish a first set of baseline results on these tasks as a measure for future comparisons. With carps (https://www.github.com/automl/CARP-S), we make an important step in the standardization of HPO evaluation.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は、優れた機械学習モデルを開発する上で不可欠である。 本稿では,HPO手法のプロトタイピングとベンチマークを容易にするために,総合的自動研究性能研究のためのベンチマークフレームワークであるcarpsを提案する。 カープの最初のリリースでは、ブラックボックス、マルチ・フィデリティ、マルチ・オブジェクト、マルチ・フィデリティ・マルチ・オブジェクトの4つの重要なタイプのHPOタスクにフォーカスする。 5つのコミュニティベンチマークコレクションからの336タスクと28種類のオプティマイザファミリーの28種類のタスクで、HPOメソッドの評価と比較を行うため、これまでで最大のGotoライブラリを提供する。 Carpsフレームワークは、オプティマイザとベンチマークタスクをまとめる目的で作られた軽量なインターフェースに依存している。 分析パイプラインも備えており、ベンチマーク上でのオプティマイザの評価を容易にする。 しかし、手法の開発と比較をしながら膨大な数のタスクをナビゲートすることは、計算的に不可能である。 これに対応するために、全集合にまたがる空間における部分集合の星差を最小化することにより、代表タスクのサブセットを得る。 その結果,タスクタイプ毎に10～30種類のタスクを初期サブセットとして提案し,ベンチマークが利用可能になるとサブセットを再計算し,効率的な評価を可能にする。 また,これらの課題について,今後の比較のための指標として,最初のベースライン結果のセットを構築した。 carps (https://www.github.com/automl/CARP-S) はHPO評価の標準化において重要なステップとなる。

関連論文リスト

• Purifying, Labeling, and Utilizing: A High-Quality Pipeline for Small Object Detection [83.90563802153707]
  PLUSNetは高品質のSmallオブジェクト検出フレームワークである。 上流の特徴を浄化するための階層的特徴(HFP)フレームワーク、中流トレーニングサンプルの品質を改善するための多重基準ラベル割り当て(MCLA)、下流タスクを達成するためにより効果的に情報を活用するための周波数分離ヘッド(FDHead)の3つのコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2025-04-29T10:11:03Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Speeding Up Multi-Objective Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator [37.553558410770314]
  本稿では,タスク間のトップドメインの重複によって定義されるタスク類似性を用いて,TPEの取得機能をメタラーニング設定に拡張する。 実験では,表付きHPOベンチマークでMO-TPEを高速化し,最先端の性能が得られることを示した。
  論文  参考訳（メタデータ） (2022-12-13T17:33:02Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• YAHPO Gym -- Design Criteria and a new Multifidelity Benchmark for Hyperparameter Optimization [1.0718353079920009]
  我々は,700以上の多相HPO問題を構成する9つのベンチマークコレクションからなる,多相HPOメソッドのためのサロゲートベースのベンチマークスイートを提案する。 すべてのベンチマークでは、複数の最適化ターゲットのクエリも可能で、多目的HPOのベンチマークを可能にします。
  論文  参考訳（メタデータ） (2021-09-08T14:16:31Z)
• HPO-B: A Large-Scale Reproducible Benchmark for Black-Box HPO based on OpenML [5.735035463793008]
  我々はHPOアルゴリズムを比較するための大規模ベンチマークであるHPO-Bを提案する。 ベンチマークはOpenMLリポジトリから収集され、事前処理されています。 我々は,非伝達学習および伝達学習HPOの手法の比較のための,明示的な実験的プロトコル,分割,評価方法について詳述する。
  論文  参考訳（メタデータ） (2021-06-11T09:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。