論文の概要: Random Search Hyper-Parameter Tuning: Expected Improvement Estimation
and the Corresponding Lower Bound
- arxiv url: http://arxiv.org/abs/2208.08170v1
- Date: Wed, 17 Aug 2022 09:18:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 12:22:17.438178
- Title: Random Search Hyper-Parameter Tuning: Expected Improvement Estimation
and the Corresponding Lower Bound
- Title（参考訳）: ランダム探索ハイパーパラメータチューニング:期待改善推定と対応する下限
- Authors: Dan Navon, Alex M. Bronstein
- Abstract要約: 提案手法は,ハイパーパラメータ探索の反復による予測精度の向上を実証的に評価する。
予測精度の最適推定値が$frac1k$の誤差を持つことを示す。
- 参考スコア（独自算出の注目度）: 8.486025595883117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter tuning is a common technique for improving the performance of
neural networks. Most techniques for hyperparameter search involve an iterated
process where the model is retrained at every iteration. However, the expected
accuracy improvement from every additional search iteration, is still unknown.
Calculating the expected improvement can help create stopping rules for
hyperparameter tuning and allow for a wiser allocation of a project's
computational budget. In this paper, we establish an empirical estimate for the
expected accuracy improvement from an additional iteration of hyperparameter
search. Our results hold for any hyperparameter tuning method which is based on
random search \cite{bergstra2012random} and samples hyperparameters from a
fixed distribution. We bound our estimate with an error of
$O\left(\sqrt{\frac{\log k}{k}}\right)$ w.h.p. where $k$ is the current number
of iterations. To the best of our knowledge this is the first bound on the
expected gain from an additional iteration of hyperparameter search. Finally,
we demonstrate that the optimal estimate for the expected accuracy will still
have an error of $\frac{1}{k}$.
- Abstract（参考訳）: ハイパーパラメータチューニングは、ニューラルネットワークのパフォーマンスを改善する一般的なテクニックである。
ハイパーパラメータ探索のほとんどの技術は、反復毎にモデルを再訓練する反復プロセスを含む。
しかし、追加の検索繰り返しから予想される精度の改善は、まだ不明である。
期待される改善の計算は、ハイパーパラメータチューニングの停止ルールの作成に役立ち、プロジェクトの計算予算のより賢明な割り当てを可能にする。
本稿では,ハイパーパラメータ探索の追加イテレーションから推定した推定精度を実証的に推定する。
提案手法は, ランダムサーチ \cite{bergstra2012random} に基づく任意のハイパーパラメータチューニング法と, 固定分布からハイパーパラメータをサンプリングする。
誤差は$o\left(\sqrt{\frac{\log k}{k}}\right)$ w.h.p.であり、ここで$k$は現在のイテレーション数である。
私たちの知る限りでは、これはハイパーパラメータ検索の追加イテレーションから得られる期待値の最初の限界です。
最後に、予測精度の最適推定値が $\frac{1}{k}$ の誤差を持つことを示す。
関連論文リスト
- Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - A Multi-objective Newton Optimization Algorithm for Hyper-Parameter
Search [0.0]
このアルゴリズムを用いて畳み込みニューラルネットワークの多クラス物体検出問題に対する最適確率しきい値(8パラメータのベクトル)を探索する。
このアルゴリズムは、デフォルト値0.5に比べて総合的に高い真正(TP)と低い偽正(FP)率を生成する。
論文 参考訳（メタデータ） (2024-01-07T21:12:34Z) - Using Sequential Statistical Tests to Improve the Performance of Random
Search in hyperparameter Tuning [0.0]
ハイパーパラメータチューニングは、機械学習において最も時間を要する部分の1つである。
そこで本研究では、リサンプリング回数を最小限に抑え、下位パラメータ設定を検出するためのシーケンシャルなテスト手順を提案する。
論文 参考訳（メタデータ） (2021-12-23T10:02:04Z) - Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for
Safety-Critical Applications [71.23286211775084]
未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。
提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。
実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
論文 参考訳（メタデータ） (2021-09-06T17:10:01Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳（メタデータ） (2021-07-01T06:43:11Z) - Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。
本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。
次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T13:07:44Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z) - How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文 参考訳（メタデータ） (2020-10-19T21:46:39Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳（メタデータ） (2020-06-03T08:53:48Z) - Weighted Random Search for Hyperparameter Optimization [0.0]
本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。
我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。
同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
論文 参考訳（メタデータ） (2020-04-03T15:41:22Z) - Weighted Random Search for CNN Hyperparameter Optimization [0.0]
本稿では、ランダム探索(RS)と確率的欲求を組み合わせた重み付きランダム探索(WRS)手法を提案する。
基準は、ハイパーパラメーター値の試験された組み合わせの同じ数内で達成される分類精度である。
我々の実験によると、WRSアルゴリズムは他の手法よりも優れています。
論文 参考訳（メタデータ） (2020-03-30T09:40:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。