Fugu-MT 論文翻訳(概要): High Per Parameter: A Large-Scale Study of Hyperparameter Tuning for Machine Learning Algorithms

論文の概要: High Per Parameter: A Large-Scale Study of Hyperparameter Tuning for Machine Learning Algorithms

arxiv url: http://arxiv.org/abs/2207.06028v1
Date: Wed, 13 Jul 2022 08:17:48 GMT
ステータス: 処理完了
システム内更新日: 2022-07-14 15:38:10.190713
Title: High Per Parameter: A Large-Scale Study of Hyperparameter Tuning for Machine Learning Algorithms
Title（参考訳）: High Perパラメータ:機械学習アルゴリズムのためのハイパーパラメータチューニングの大規模研究
Authors: Moshe Sipper
Abstract要約: 本研究は,機械学習におけるハイパーパラメータチューニングの利用に関する大規模研究である。 26のMLアルゴリズム、250のデータセット(回帰とバイナリとマルチノードの分類)、6つのスコアメトリクス、28,857,600のアルゴリズム実行が含まれていた。アルゴリズムの蓄積した統計値を組み合わせた単一のhp_score値を定義することで、26のMLアルゴリズムを、最も多く得られると期待されているものから最小にランク付けすることができる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hyperparameters in machine learning (ML) have received a fair amount of attention, and hyperparameter tuning has come to be regarded as an important step in the ML pipeline. But just how useful is said tuning? While smaller-scale experiments have been previously conducted, herein we carry out a large-scale investigation, specifically, one involving 26 ML algorithms, 250 datasets (regression and both binary and multinomial classification), 6 score metrics, and 28,857,600 algorithm runs. Analyzing the results we conclude that for many ML algorithms we should not expect considerable gains from hyperparameter tuning on average, however, there may be some datasets for which default hyperparameters perform poorly, this latter being truer for some algorithms than others. By defining a single hp_score value, which combines an algorithm's accumulated statistics, we are able to rank the 26 ML algorithms from those expected to gain the most from hyperparameter tuning to those expected to gain the least. We believe such a study may serve ML practitioners at large.
Abstract（参考訳）: 機械学習(ML)におけるハイパーパラメータは、かなりの注目を集めており、ハイパーパラメータチューニングは、MLパイプラインにおける重要なステップとみなされている。しかし、チューニングがどれほど役に立つか? 従来より小規模な実験が行われていたが,本研究では,26mlアルゴリズム,250データセット(回帰と二項および多項分類),6スコアメトリクス,28,857,600アルゴリズムの実行を含む大規模調査を行った。結果を分析した結果、多くのMLアルゴリズムでは、平均的なハイパーパラメータチューニングからかなりの利益を期待するべきではないが、デフォルトのハイパーパラメータが貧弱なデータセットが存在する可能性がある。アルゴリズムの累積統計を結合した単一のhp_score値を定義することで、26mlアルゴリズムを、ハイパーパラメータチューニングから最も多く得ると期待されるものから、最小となるものへとランク付けすることができる。このような研究は、ML実践者全般に役立ちそうです。

関連論文リスト

Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training [0.0]
そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。 CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
論文参考訳（メタデータ） (2023-06-13T18:22:24Z)
Efficient and Accurate Learning of Mixtures of Plackett-Luce Models [5.216020588360421]
Plackett-Luce (PL) の混合モデルは理論的および実用的両方の研究領域である。証明可能な精度で初期推定を行うアルゴリズムと、真のログ類似関数を効率的に最大化するEMアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-02-10T16:00:40Z)
MLGWSC-1: The first Machine Learning Gravitational-Wave Search Mock Data Challenge [110.7678032481059]
第1回機械学習重力波探索モックデータチャレンジ(MLGWSC-1)の結果を示す。この課題のために、参加するグループは、より現実的な雑音に埋め込まれた複雑さと持続期間が増大する二元ブラックホールの融合から重力波信号を特定する必要があった。この結果から,現在の機械学習検索アルゴリズムは,限られたパラメータ領域においてすでに十分敏感である可能性が示唆された。
論文参考訳（メタデータ） (2022-09-22T16:44:59Z)
Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。提案手法はRパッケージプローブに実装されている。
論文参考訳（メタデータ） (2022-09-16T19:15:50Z)
HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
論文参考訳（メタデータ） (2021-09-11T16:45:39Z)
Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization [0.3058685580689604]
本稿では、一般的な機械学習アルゴリズムの理論的および実践的な結果の概要を述べる。 Rパッケージmlrは機械学習モデルの統一インターフェースとして使用される。
論文参考訳（メタデータ） (2021-07-19T11:37:37Z)
Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-09T08:47:58Z)
Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。両レベル最適化のための2つの新しいアルゴリズムを提案する。両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
論文参考訳（メタデータ） (2021-06-08T21:05:30Z)
Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文参考訳（メタデータ） (2020-10-06T04:28:19Z)
MementoML: Performance of selected machine learning algorithm configurations on OpenML100 datasets [5.802346990263708]
本稿では,異なるMLアルゴリズムの性能を示すベンチマークデータを生成するプロトコルを提案する。このように収集されたデータは、アルゴリズムのパフォーマンスに影響を与える要因を研究するために使用される。
論文参考訳（メタデータ） (2020-08-30T13:13:52Z)
Refined bounds for algorithm configuration: The knife-edge of dual class approximability [94.83809668933021]
トレーニングセットが、トレーニングセット上でのパラメータの平均メトリックのパフォーマンスが、予想される将来的なパフォーマンスに最も近いことを保証するために、どの程度の規模が必要かを調査する。この近似が L-無限ノルムの下で成り立つなら、強いサンプル複雑性境界を与えることができる。我々は、コンピュータ科学において最も強力なツールの一つである整数プログラミングの文脈において、我々の限界を実証的に評価する。
論文参考訳（メタデータ） (2020-06-21T15:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。