論文の概要: Discrete Simulation Optimization for Tuning Machine Learning Method
Hyperparameters
- arxiv url: http://arxiv.org/abs/2201.05978v1
- Date: Sun, 16 Jan 2022 06:01:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 18:58:02.422377
- Title: Discrete Simulation Optimization for Tuning Machine Learning Method
Hyperparameters
- Title(参考訳): チューニング機械学習手法ハイパーパラメータの離散シミュレーション最適化
- Authors: Varun Ramamohan, Shobhit Singhal, Aditya Raj Gupta, Nomesh B Bolia
- Abstract要約: ランキングと選択法(R&S)のような離散探索法を用いてシミュレーション最適化を行った。
KN法は統計的保証を持つ最良のシステムを見つけ、最適解に収束する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Machine learning methods are being increasingly used in most technical areas
such as image recognition, product recommendation, financial analysis, medical
diagnosis, and predictive maintenance. The key question that arises is: how do
we control the learning process according to our requirement for the problem?
Hyperparameter tuning is used to choose the optimal set of hyperparameters for
controlling the learning process of a model. Selecting the appropriate
hyperparameters directly impacts the performance measure a model. We have used
simulation optimization using discrete search methods like ranking and
selection (R&S) methods such as the KN method and stochastic ruler method and
its variations for hyperparameter optimization and also developed the
theoretical basis for applying common R&S methods. The KN method finds the best
possible system with statistical guarantee and stochastic ruler method
asymptotically converges to the optimal solution and is also computationally
very efficient. We also benchmarked our results with state of art
hyperparameter optimization libraries such as $hyperopt$ and $mango$ and found
KN and stochastic ruler to be performing consistently better than
$hyperopt~rand$ and stochastic ruler to be equally efficient in comparison with
$hyperopt~tpe$ in most cases, even when our computational implementations are
not yet optimized in comparison to professional packages.
- Abstract(参考訳): 機械学習の手法は、画像認識、製品推奨、財務分析、医療診断、予測メンテナンスなど、ほとんどの技術領域でますます使われている。
問題に対する私たちの要求に応じて、学習プロセスをどのように制御すればよいのか?
ハイパーパラメータチューニングは、モデルの学習過程を制御するために最適なハイパーパラメータセットを選択するために使用される。
適切なハイパーパラメータの選択は、モデルのパフォーマンス測定に直接影響します。
我々は、KN法や確率的定規法などの離散探索法(R&S)とハイパーパラメータ最適化のバリエーションを用いたシミュレーション最適化を用いて、一般的なR&S法を適用する理論的基礎を開発した。
KN法は、統計的保証と確率的定規法が漸近的に最適解に収束し、計算的に非常に効率的である最良のシステムを見つける。
私たちはまた、hyperopt$や$mango$のような最先端のハイパーパラメータ最適化ライブラリでベンチマークを行い、knと確率的定規は$hyperopt~rand$と確率的定規は、プロのパッケージと比較してまだ最適化されていない場合でも、ほとんどのケースで$hyperopt~tpe$と同等に効率的であることを見出しました。
関連論文リスト
- Stochastic Gradient Descent with Preconditioned Polyak Step-size [1.3300175008796402]
Gradient Descent with Polyak Step-size (SPS)は、データセットの学習率を微調整する必要性を軽減する更新ルールを提供する方法である。
本稿では,Hutchinson'sやAda'sなどのプレコンディショニング技術を用いたSPSの拡張を提案する。
論文 参考訳(メタデータ) (2023-10-03T14:36:05Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Agent-based Collaborative Random Search for Hyper-parameter Tuning and
Global Function Optimization [0.0]
本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。
提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
論文 参考訳(メタデータ) (2023-03-03T21:10:17Z) - Reinforcement Learning for Combining Search Methods in the Calibration
of Economic ABMs [3.7311118301529125]
我々は、よく知られたマクロ経済ABMのキャリブレーションにおける多くの探索手法を実データ上でベンチマークする。
ランダム・フォレスト・サロゲートに基づく手法は特に効率的であることが判明した。
本研究では,検索手法を自動的に選択し,組み合わせるための強化学習手法を提案する。
論文 参考訳(メタデータ) (2023-02-23T07:51:00Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳(メタデータ) (2022-10-27T01:58:10Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳(メタデータ) (2022-09-09T14:58:43Z) - A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization
Method [0.0]
ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。
提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
論文 参考訳(メタデータ) (2022-08-25T14:25:16Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳(メタデータ) (2021-04-09T14:50:59Z) - Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。
提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文 参考訳(メタデータ) (2020-10-21T17:14:31Z) - Online Hyperparameter Search Interleaved with Proximal Parameter Updates [9.543667840503739]
本研究では,近似勾配法の構造に依存する手法を開発し,スムーズなコスト関数を必要としない。
そのような方法は、Leave-one-out (LOO)-validated LassoおよびGroup Lassoに適用される。
数値実験により,提案手法の収束度をLOO検証誤差曲線の局所最適値に相関させる。
論文 参考訳(メタデータ) (2020-04-06T15:54:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。