論文の概要: LMEMs for post-hoc analysis of HPO Benchmarking

• arxiv url: http://arxiv.org/abs/2408.02533v1
• Date: Mon, 5 Aug 2024 15:03:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 13:17:11.986196
• Title: LMEMs for post-hoc analysis of HPO Benchmarking
• Title（参考訳）: HPOベンチマークのポストホック解析のためのLMEM
• Authors: Anton Geburek, Neeratyoy Mallik, Danny Stoll, Xavier Bouthillier, Frank Hutter,
• Abstract要約: 我々は,HPOベンチマークの実行後解析に線形混合効果モデル(LMEM)の意義試験を適用した。 LMEMは、ベンチマークメタ機能などの情報を含む実験データ全体のフレキシブルで表現力のあるモデリングを可能にする。 本稿では,本論文で報告されていない知見を見つけるために,PresideBand論文の実験データに関するケーススタディを通じてこれを実証する。
• 参考スコア（独自算出の注目度）: 38.39259273088395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The importance of tuning hyperparameters in Machine Learning (ML) and Deep Learning (DL) is established through empirical research and applications, evident from the increase in new hyperparameter optimization (HPO) algorithms and benchmarks steadily added by the community. However, current benchmarking practices using averaged performance across many datasets may obscure key differences between HPO methods, especially for pairwise comparisons. In this work, we apply Linear Mixed-Effect Models-based (LMEMs) significance testing for post-hoc analysis of HPO benchmarking runs. LMEMs allow flexible and expressive modeling on the entire experiment data, including information such as benchmark meta-features, offering deeper insights than current analysis practices. We demonstrate this through a case study on the PriorBand paper's experiment data to find insights not reported in the original work.
• Abstract（参考訳）: 機械学習(ML)とディープラーニング(DL)におけるハイパーパラメータのチューニングの重要性は、新しいハイパーパラメータ最適化(HPO)アルゴリズムの増加と、コミュニティが着実に追加しているベンチマークから明らかである。 しかし、多くのデータセットの平均性能を用いた現在のベンチマーク手法は、特にペア比較においてHPO法との主な違いを曖昧にしている可能性がある。 本稿では,HPOベンチマーク実行後解析における線形混合効果モデル(LMEM)の意義試験を適用した。 LMEMは、ベンチマークメタ機能などの情報を含む実験データ全体のフレキシブルで表現力のあるモデリングを可能にし、現在の分析プラクティスよりも深い洞察を提供する。 本稿では,本論文で報告されていない知見を見つけるために,PresideBand論文の実験データに関するケーススタディを通じてこれを実証する。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• Using Large Language Models for Hyperparameter Optimization [29.395931874196805]
  本稿では,高パラメータ最適化(HPO)における基礎的大規模言語モデル(LLM)の利用について検討する。 標準ベンチマークに対する実証的な評価により,LLMは従来のHPO手法に適合あるいは優れることがわかった。
  論文  参考訳（メタデータ） (2023-12-07T18:46:50Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• Is One Epoch All You Need For Multi-Fidelity Hyperparameter Optimization? [17.21160278797221]
  MF-HPO(Multi-fidelity HPO)は、学習過程における中間精度レベルを活用し、早期に低性能モデルを捨てる。 様々な代表的MF-HPO法を,古典的ベンチマークデータに基づく単純なベースラインと比較した。 このベースラインは、計算量を大幅に減らしながら、同等の結果を得た。
  論文  参考訳（メタデータ） (2023-07-28T09:14:41Z)
• Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
  本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。 これは経験的ベンチマークでのHPO収束を早くすることを意味する。
  論文  参考訳（メタデータ） (2023-05-05T15:33:39Z)
• FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
  本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-08T15:29:10Z)
• Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data [66.11139091362078]
  本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。 ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
  論文  参考訳（メタデータ） (2022-02-06T20:07:35Z)
• BenchML: an extensible pipelining framework for benchmarking representations of materials and molecules at scale [0.0]
  物質や分子のデータセットに対して化学系の表現をベンチマークする機械学習フレームワークを提案する。 モデル複雑性を単純な回帰スキームに制限することで、生の記述子の性能を評価するのが原則である。 結果として得られるモデルは、将来のメソッド開発を知らせるベースラインとして意図されている。
  論文  参考訳（メタデータ） (2021-12-04T09:07:16Z)
• Revisiting Training Strategies and Generalization Performance in Deep Metric Learning [28.54755295856929]
  我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。 一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。 これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
  論文  参考訳（メタデータ） (2020-02-19T22:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。