論文の概要: How to tune the RBF SVM hyperparameters?: An empirical evaluation of 18
search algorithms
- arxiv url: http://arxiv.org/abs/2008.11655v1
- Date: Wed, 26 Aug 2020 16:28:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 21:01:55.195538
- Title: How to tune the RBF SVM hyperparameters?: An empirical evaluation of 18
search algorithms
- Title（参考訳）: RBF SVMハイパーパラメータのチューニング方法
18の探索アルゴリズムに関する経験的評価
- Authors: Jacques Wainer and Pablo Fonseca
- Abstract要約: 本稿では,実生活115個のバイナリデータセットを対象とした18の探索アルゴリズムを提案する。
Parssは、グリッドに関して、同じツリーに関して、時間的にわずかにしか増加せずに、よりよく検索できることに気付きました。
また,検索アルゴリズムによって1つ以上のデータを見つけると,最適なデータ集合に対して異なる手順に有意な差はないことがわかった。
- 参考スコア（独自算出の注目度）: 4.394728504061753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: SVM with an RBF kernel is usually one of the best classification algorithms
for most data sets, but it is important to tune the two hyperparameters $C$ and
$\gamma$ to the data itself. In general, the selection of the hyperparameters
is a non-convex optimization problem and thus many algorithms have been
proposed to solve it, among them: grid search, random search, Bayesian
optimization, simulated annealing, particle swarm optimization, Nelder Mead,
and others. There have also been proposals to decouple the selection of
$\gamma$ and $C$. We empirically compare 18 of these proposed search algorithms
(with different parameterizations for a total of 47 combinations) on 115
real-life binary data sets. We find (among other things) that trees of Parzen
estimators and particle swarm optimization select better hyperparameters with
only a slight increase in computation time with respect to a grid search with
the same number of evaluations. We also find that spending too much
computational effort searching the hyperparameters will not likely result in
better performance for future data and that there are no significant
differences among the different procedures to select the best set of
hyperparameters when more than one is found by the search algorithms.
- Abstract（参考訳）: RBFカーネルを持つSVMは通常、ほとんどのデータセットで最高の分類アルゴリズムの1つであるが、データ自体に$C$と$\gamma$の2つのハイパーパラメータをチューニングすることが重要である。
一般に、ハイパーパラメータの選択は非凸最適化問題であり、グリッド探索、ランダム探索、ベイズ最適化、シミュレートアニーリング、粒子群最適化、Nelder Meadなど、多くのアルゴリズムがそれを解決するために提案されている。
また、$\gamma$ と $c$ の選択を分離する提案があった。
実生活のバイナリデータセット115に対して,提案した探索アルゴリズムの18(合計47組み合わせのパラメータ化)を実証的に比較した。
我々は,Parzen推定器とパーティクルスワム最適化のツリーが,計算時間をわずかに増加させるだけで,同じ数の評価値を持つグリッドサーチに対して,より優れたハイパーパラメータを選択することを発見した。
また,ハイパーパラメータの探索に過大な労力を費やすことで,将来のデータの性能が向上する可能性は低いこと,また,探索アルゴリズムによって複数のハイパーパラメータが検出された場合の最適セットを選択する手順に有意差がないことも見出した。
関連論文リスト
- Enhancing Machine Learning Model Performance with Hyper Parameter
Optimization: A Comparative Study [0.0]
機械学習における最も重要な問題のひとつは、トレーニングモデルに適切なハイパーパラメータの選択である。
ハイパーパラメータ最適化(HPO)は、人工知能研究が最近注目している話題である。
本研究では,グリッドやランダム探索,ベイズ最適化などの古典的手法,遺伝的アルゴリズムや粒子群最適化といった人口ベースアルゴリズムについて論じる。
論文 参考訳（メタデータ） (2023-02-14T10:12:10Z) - Massively Parallel Genetic Optimization through Asynchronous Propagation
of Populations [50.591267188664666]
Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。
提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。
Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
論文 参考訳（メタデータ） (2023-01-20T18:17:34Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。
私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
論文 参考訳（メタデータ） (2022-01-17T14:49:36Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳（メタデータ） (2021-07-01T06:43:11Z) - Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。
両レベル最適化のための2つの新しいアルゴリズムを提案する。
両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
論文 参考訳（メタデータ） (2021-06-08T21:05:30Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - MementoML: Performance of selected machine learning algorithm
configurations on OpenML100 datasets [5.802346990263708]
本稿では,異なるMLアルゴリズムの性能を示すベンチマークデータを生成するプロトコルを提案する。
このように収集されたデータは、アルゴリズムのパフォーマンスに影響を与える要因を研究するために使用される。
論文 参考訳（メタデータ） (2020-08-30T13:13:52Z) - Weighted Random Search for Hyperparameter Optimization [0.0]
本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。
我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。
同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
論文 参考訳（メタデータ） (2020-04-03T15:41:22Z) - Weighted Random Search for CNN Hyperparameter Optimization [0.0]
本稿では、ランダム探索(RS)と確率的欲求を組み合わせた重み付きランダム探索(WRS)手法を提案する。
基準は、ハイパーパラメーター値の試験された組み合わせの同じ数内で達成される分類精度である。
我々の実験によると、WRSアルゴリズムは他の手法よりも優れています。
論文 参考訳（メタデータ） (2020-03-30T09:40:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。