論文の概要: A Comparative Study of Hyperparameter Tuning Methods

• arxiv url: http://arxiv.org/abs/2408.16425v1
• Date: Thu, 29 Aug 2024 10:35:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 14:12:45.216842
• Title: A Comparative Study of Hyperparameter Tuning Methods
• Title（参考訳）: ハイパーパラメータチューニング法の比較検討
• Authors: Subhasis Dasgupta, Jaydip Sen,
• Abstract要約: 木構造型Parzen Estimator (TPE)、遺伝的検索、ランダム検索は回帰および分類タスク間で評価される。 ランダム検索は回帰タスクに優れ、TPEは分類タスクに効果的であった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The study emphasizes the challenge of finding the optimal trade-off between bias and variance, especially as hyperparameter optimization increases in complexity. Through empirical analysis, three hyperparameter tuning algorithms Tree-structured Parzen Estimator (TPE), Genetic Search, and Random Search are evaluated across regression and classification tasks. The results show that nonlinear models, with properly tuned hyperparameters, significantly outperform linear models. Interestingly, Random Search excelled in regression tasks, while TPE was more effective for classification tasks. This suggests that there is no one-size-fits-all solution, as different algorithms perform better depending on the task and model type. The findings underscore the importance of selecting the appropriate tuning method and highlight the computational challenges involved in optimizing machine learning models, particularly as search spaces expand.
• Abstract（参考訳）: この研究は、特にハイパーパラメータ最適化が複雑さを増大させるにつれて、バイアスと分散の間の最適なトレードオフを見つけるという課題を強調している。 実験解析により, 木構造パーゼン推定器(TPE), 遺伝的検索, ランダム探索の3つのハイパーパラメータチューニングアルゴリズムを回帰および分類作業で評価した。 その結果、適切に調整されたハイパーパラメータを持つ非線形モデルは、線形モデルよりも著しく優れていた。 興味深いことに、ランダム検索は回帰タスクに優れ、TPEは分類タスクに効果的であった。 これは、タスクやモデルタイプによって異なるアルゴリズムがより良いパフォーマンスを発揮するため、すべてのソリューションが一様でないことを示唆している。 この結果は、適切なチューニング方法を選択することの重要性を強調し、特に検索空間が拡大するにつれて、機械学習モデルの最適化にかかわる計算上の課題を強調している。

関連論文リスト

• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization [0.0]
  本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。 提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
  論文  参考訳（メタデータ） (2023-03-03T21:10:17Z)
• Enhancing Machine Learning Model Performance with Hyper Parameter Optimization: A Comparative Study [0.0]
  機械学習における最も重要な問題のひとつは、トレーニングモデルに適切なハイパーパラメータの選択である。 ハイパーパラメータ最適化(HPO)は、人工知能研究が最近注目している話題である。 本研究では,グリッドやランダム探索,ベイズ最適化などの古典的手法,遺伝的アルゴリズムや粒子群最適化といった人口ベースアルゴリズムについて論じる。
  論文  参考訳（メタデータ） (2023-02-14T10:12:10Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Hierarchical Collaborative Hyper-parameter Tuning [0.0]
  ハイパーパラメータチューニングは、機械学習ソリューションを構築する上で最も重要なステージのひとつだ。 本稿では,マルチエージェントシステムを用いて近似値を決定する分散手法を提案する。
  論文  参考訳（メタデータ） (2022-05-11T05:16:57Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• A Study of Genetic Algorithms for Hyperparameter Optimization of Neural Networks in Machine Translation [0.0]
  遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。 研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-15T02:24:16Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Better Trees: An empirical study on hyperparameter tuning of classification decision tree induction algorithms [5.4611430411491115]
  決定木誘導アルゴリズムは高い予測性能と解釈可能な分類モデルを示す。 本稿では,CARTとC4.5の2つのDT誘導アルゴリズムに対するハイパーパラメータチューニングの効果について検討する。 OpenMLから94の分類データセットを用いて,モデルを誘導し,HPの妥当性を評価するための異なるチューニング手法を用いて実験を行った。
  論文  参考訳（メタデータ） (2018-12-05T19:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。