論文の概要: Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2107.08761v1
• Date: Mon, 19 Jul 2021 11:37:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 15:13:19.516088
• Title: Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization
• Title（参考訳）: モデルに基づくハイパーパラメータ最適化の実験的検討
• Authors: Eva Bartz and Martin Zaefferer and Olaf Mersmann and Thomas Bartz-Beielstein
• Abstract要約: 本稿では、一般的な機械学習アルゴリズムの理論的および実践的な結果の概要を述べる。 Rパッケージmlrは機械学習モデルの統一インターフェースとして使用される。
• 参考スコア（独自算出の注目度）: 0.3058685580689604
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine learning algorithms such as random forests or xgboost are gaining more importance and are increasingly incorporated into production processes in order to enable comprehensive digitization and, if possible, automation of processes. Hyperparameters of these algorithms used have to be set appropriately, which can be referred to as hyperparameter tuning or optimization. Based on the concept of tunability, this article presents an overview of theoretical and practical results for popular machine learning algorithms. This overview is accompanied by an experimental analysis of 30 hyperparameters from six relevant machine learning algorithms. In particular, it provides (i) a survey of important hyperparameters, (ii) two parameter tuning studies, and (iii) one extensive global parameter tuning study, as well as (iv) a new way, based on consensus ranking, to analyze results from multiple algorithms. The R package mlr is used as a uniform interface to the machine learning models. The R package SPOT is used to perform the actual tuning (optimization). All additional code is provided together with this paper.
• Abstract（参考訳）: ランダムフォレストやxgboostといった機械学習アルゴリズムは、より重要になってきており、包括的なデジタル化と可能な限りプロセスの自動化を可能にするために、生産プロセスに組み込まれている。 これらのアルゴリズムのハイパーパラメータは適切に設定されなければならず、ハイパーパラメータチューニングや最適化と呼ばれる。 本稿では、チューナビリティの概念に基づいて、一般的な機械学習アルゴリズムの理論的および実践的な結果の概要を述べる。 この概要には、6つの関連する機械学習アルゴリズムによる30のハイパーパラメータの実験分析が伴っている。 特に、(i)重要なハイパーパラメータのサーベイ、(ii)2つのパラメータチューニング研究、(iii)1つの広範なグローバルパラメータチューニング研究、および(iv)コンセンサスランキングに基づく新しい方法を提供し、複数のアルゴリズムから結果を分析する。 Rパッケージmlrは機械学習モデルの統一インターフェースとして使用される。 RパッケージSPOTは実際のチューニング(最適化)を実行するために使用される。 追加コードはすべて、この論文とともに提供されている。

関連論文リスト

• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization [0.0]
  本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。 提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
  論文  参考訳（メタデータ） (2023-03-03T21:10:17Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Hierarchical Collaborative Hyper-parameter Tuning [0.0]
  ハイパーパラメータチューニングは、機械学習ソリューションを構築する上で最も重要なステージのひとつだ。 本稿では,マルチエージェントシステムを用いて近似値を決定する分散手法を提案する。
  論文  参考訳（メタデータ） (2022-05-11T05:16:57Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)
• To tune or not to tune? An Approach for Recommending Important Hyperparameters [2.121963121603413]
  機械学習モデルの性能とハイパーパラメータの関係を構築して、トレンドを発見し、洞察を得ることを検討する。 この結果から,ユーザが時間を要するチューニング戦略を実行する価値があるかどうかを判断することが可能になる。
  論文  参考訳（メタデータ） (2021-08-30T08:54:58Z)
• Surrogate Model Based Hyperparameter Tuning for Deep Learning with SPOT [0.40611352512781856]
  本稿では、Keras/tensorflowで実装されたディープラーニングモデルのアーキテクチャレベルのパラメータをどのように最適化できるかを示す。 チューニング手順の実装は、統計コンピューティングのソフトウェア環境であるRに基づいて100%である。
  論文  参考訳（メタデータ） (2021-05-30T21:16:51Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。