論文の概要: Using Sequential Statistical Tests to Improve the Performance of Random
Search in hyperparameter Tuning
- arxiv url: http://arxiv.org/abs/2112.12438v1
- Date: Thu, 23 Dec 2021 10:02:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-24 14:27:05.803803
- Title: Using Sequential Statistical Tests to Improve the Performance of Random
Search in hyperparameter Tuning
- Title（参考訳）: 逐次統計的テストを用いたハイパーパラメータチューニングにおけるランダム探索の性能向上
- Authors: Philip Buczak and Daniel Horn
- Abstract要約: ハイパーパラメータチューニングは、機械学習において最も時間を要する部分の1つである。
そこで本研究では、リサンプリング回数を最小限に抑え、下位パラメータ設定を検出するためのシーケンシャルなテスト手順を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparamter tuning is one of the the most time-consuming parts in machine
learning: The performance of a large number of different hyperparameter
settings has to be evaluated to find the best one. Although modern optimization
algorithms exist that minimize the number of evaluations needed, the evaluation
of a single setting is still expensive: Using a resampling technique, the
machine learning method has to be fitted a fixed number of $K$ times on
different training data sets. As an estimator for the performance of the
setting the respective mean value of the $K$ fits is used. Many hyperparameter
settings could be discarded after less than $K$ resampling iterations, because
they already are clearly inferior to high performing settings. However, in
practice, the resampling is often performed until the very end, wasting a lot
of computational effort.
We propose to use a sequential testing procedure to minimize the number of
resampling iterations to detect inferior parameter setting. To do so, we first
analyze the distribution of resampling errors, we will find out, that a
log-normal distribution is promising. Afterwards, we build a sequential testing
procedure assuming this distribution. This sequential test procedure is
utilized within a random search algorithm.
We compare a standard random search with our enhanced sequential random
search in some realistic data situation. It can be shown that the sequential
random search is able to find comparably good hyperparameter settings, however,
the computational time needed to find those settings is roughly halved.
- Abstract（参考訳）: ハイパーパラメータチューニング(hyperparamter tuning)は、マシンラーニングで最も時間を要する部分のひとつです。
最新の最適化アルゴリズムでは、必要な評価回数を最小限に抑えることができるが、単一設定の評価は依然として高価である。
設定の実行を推定する手段として、$k$ fitsのそれぞれの平均値を使用する。
ハイパフォーマンス設定よりも明らかに劣っているため、多くのハイパーパラメータ設定は1k$以下の繰り返しで破棄される可能性がある。
しかし、実際には、再サンプリングは最後までしばしば行われ、多くの計算労力を浪費する。
本稿では,リサンプリング回数を最小限に抑え,下位パラメータ設定を検出するためのシーケンシャルなテスト手法を提案する。
そのために,まず再サンプリングエラーの分布を解析し,ログ正規分布が有望であることを示す。
その後、この分布を仮定してシーケンシャルなテスト手順を構築する。
このシーケンシャルなテスト手順はランダム検索アルゴリズムで利用される。
標準ランダム検索と拡張された逐次ランダム検索を,現実的データ状況で比較する。
逐次ランダム検索は、比較できる限り優れたハイパーパラメータ設定を見つけることができるが、それらの設定を見つけるのに必要な計算時間はおよそ半分である。
関連論文リスト
- Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。
そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。
理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-02-18T23:31:20Z) - Practical Differentially Private Hyperparameter Tuning with Subsampling [8.022555128083026]
そこで我々は,ランダムな探索サンプルの数がランダム化されるような,微分プライベート(DP)機械学習(ML)アルゴリズムの新たなクラスを提案する。
我々は,これらの手法のDP境界と計算コストの両方を,機密データのランダムな部分集合のみを用いて下げることに重点を置いている。
本稿では,提案手法に対するR'enyi差分プライバシー解析を行い,プライバシー利用のトレードオフの改善につながることを実験的に示す。
論文 参考訳（メタデータ） (2023-01-27T21:01:58Z) - Random Search Hyper-Parameter Tuning: Expected Improvement Estimation
and the Corresponding Lower Bound [8.486025595883117]
提案手法は,ハイパーパラメータ探索の反復による予測精度の向上を実証的に評価する。
予測精度の最適推定値が$frac1k$の誤差を持つことを示す。
論文 参考訳（メタデータ） (2022-08-17T09:18:43Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳（メタデータ） (2021-07-01T06:43:11Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-06-22T16:07:02Z) - How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文 参考訳（メタデータ） (2020-10-19T21:46:39Z) - How to tune the RBF SVM hyperparameters?: An empirical evaluation of 18
search algorithms [4.394728504061753]
本稿では,実生活115個のバイナリデータセットを対象とした18の探索アルゴリズムを提案する。
Parssは、グリッドに関して、同じツリーに関して、時間的にわずかにしか増加せずに、よりよく検索できることに気付きました。
また,検索アルゴリズムによって1つ以上のデータを見つけると,最適なデータ集合に対して異なる手順に有意な差はないことがわかった。
論文 参考訳（メタデータ） (2020-08-26T16:28:48Z) - Best-First Beam Search [78.71330480725668]
本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。
ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
論文 参考訳（メタデータ） (2020-07-08T05:56:01Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳（メタデータ） (2020-06-14T10:42:23Z) - Weighted Random Search for Hyperparameter Optimization [0.0]
本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。
我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。
同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
論文 参考訳（メタデータ） (2020-04-03T15:41:22Z) - Weighted Random Search for CNN Hyperparameter Optimization [0.0]
本稿では、ランダム探索(RS)と確率的欲求を組み合わせた重み付きランダム探索(WRS)手法を提案する。
基準は、ハイパーパラメーター値の試験された組み合わせの同じ数内で達成される分類精度である。
我々の実験によると、WRSアルゴリズムは他の手法よりも優れています。
論文 参考訳（メタデータ） (2020-03-30T09:40:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。