論文の概要: Discrete Simulation Optimization for Tuning Machine Learning Method
Hyperparameters
- arxiv url: http://arxiv.org/abs/2201.05978v3
- Date: Tue, 20 Jun 2023 05:16:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 06:39:16.313050
- Title: Discrete Simulation Optimization for Tuning Machine Learning Method
Hyperparameters
- Title（参考訳）: チューニング機械学習手法ハイパーパラメータの離散シミュレーション最適化
- Authors: Varun Ramamohan, Shobhit Singhal, Aditya Raj Gupta, Nomesh Bhojkumar
Bolia
- Abstract要約: 機械学習(ML)手法は、画像認識、製品レコメンデーション、財務分析、診断、予測保守など、ほとんどの技術領域で使われている。
ML手法を実装する上で重要な側面は,検討中の手法の性能を最大化するために,ML手法の学習過程を制御することである。
本研究では、ランキングと選択(R&S)やランダム検索といった離散的なシミュレーション最適化手法を実演する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Machine learning (ML) methods are used in most technical areas such as image
recognition, product recommendation, financial analysis, medical diagnosis, and
predictive maintenance. An important aspect of implementing ML methods involves
controlling the learning process for the ML method so as to maximize the
performance of the method under consideration. Hyperparameter tuning is the
process of selecting a suitable set of ML method parameters that control its
learning process. In this work, we demonstrate the use of discrete simulation
optimization methods such as ranking and selection (R&S) and random search for
identifying a hyperparameter set that maximizes the performance of a ML method.
Specifically, we use the KN R&S method and the stochastic ruler random search
method and one of its variations for this purpose. We also construct the
theoretical basis for applying the KN method, which determines the optimal
solution with a statistical guarantee via solution space enumeration. In
comparison, the stochastic ruler method asymptotically converges to global
optima and incurs smaller computational overheads. We demonstrate the
application of these methods to a wide variety of machine learning models,
including deep neural network models used for time series prediction and image
classification. We benchmark our application of these methods with
state-of-the-art hyperparameter optimization libraries such as $hyperopt$ and
$mango$. The KN method consistently outperforms $hyperopt$'s random search (RS)
and Tree of Parzen Estimators (TPE) methods. The stochastic ruler method
outperforms the $hyperopt$ RS method and offers statistically comparable
performance with respect to $hyperopt$'s TPE method and the $mango$ algorithm.
- Abstract（参考訳）: 機械学習(ml)法は、画像認識、製品推奨、財務分析、医療診断、予測メンテナンスなど、ほとんどの技術領域で使用されている。
ML手法を実装する上で重要な側面は,検討中の手法の性能を最大化するために,ML手法の学習過程を制御することである。
ハイパーパラメータチューニングは、学習プロセスを制御するMLメソッドパラメータの適切なセットを選択するプロセスである。
本研究では,ML手法の性能を最大化するハイパーパラメータ集合の同定に,ランキングと選択(R&S)やランダム検索などの離散シミュレーション最適化手法を用いることを実証する。
具体的には、kn r&s法と確率的支配的ランダム探索法を用い、そのバリエーションの1つを提案する。
また, 最適解を解空間列挙による統計的保証で決定するkn法の適用に関する理論的基礎を構築した。
対照的に、確率的定規法は漸近的に大域最適に収束し、計算オーバーヘッドを小さくする。
時系列予測や画像分類に使用されるディープニューラルネットワークモデルを含む,多種多様な機械学習モデルへのこれらの手法の適用を実証する。
我々は、$hyperopt$ や $mango$のような最先端のハイパーパラメータ最適化ライブラリでこれらのメソッドの適用をベンチマークします。
KN法は、$hyperopt$'s random search (RS) および Tree of Parzen Estimators (TPE) 法より一貫して優れている。
確率的定規法は$hyperopt$ RS法より優れ、$hyperopt$のTPE法と$mango$アルゴリズムに関して統計的に同等のパフォーマンスを提供する。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Efficient Learning of POMDPs with Known Observation Model in Average-Reward Setting [56.92178753201331]
我々は,POMDPパラメータを信念に基づくポリシを用いて収集したサンプルから学習することのできる観測・認識スペクトル(OAS)推定手法を提案する。
提案するOAS-UCRLアルゴリズムに対して,OASプロシージャの整合性を示し,$mathcalO(sqrtT log(T)$の残差保証を証明した。
論文 参考訳（メタデータ） (2024-10-02T08:46:34Z) - The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。
イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。
実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
論文 参考訳（メタデータ） (2024-07-30T17:03:19Z) - Learning rate adaptive stochastic gradient descent optimization methods: numerical simulations for deep learning methods for partial differential equations and convergence analyses [5.052293146674794]
標準降下(SGD)最適化法は、学習率が0に収束しない場合、アダムのような加速および適応SGD最適化法が収束しないことが知られている。
本研究では,経験的推定に基づいて学習率を調整するSGD最適化手法の学習速度適応手法を提案し,検討する。
論文 参考訳（メタデータ） (2024-06-20T14:07:39Z) - Agent-based Collaborative Random Search for Hyper-parameter Tuning and
Global Function Optimization [0.0]
本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。
提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
論文 参考訳（メタデータ） (2023-03-03T21:10:17Z) - Reinforcement Learning for Combining Search Methods in the Calibration
of Economic ABMs [3.7311118301529125]
我々は、よく知られたマクロ経済ABMのキャリブレーションにおける多くの探索手法を実データ上でベンチマークする。
ランダム・フォレスト・サロゲートに基づく手法は特に効率的であることが判明した。
本研究では,検索手法を自動的に選択し,組み合わせるための強化学習手法を提案する。
論文 参考訳（メタデータ） (2023-02-23T07:51:00Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization
Method [0.0]
ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。
提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
論文 参考訳（メタデータ） (2022-08-25T14:25:16Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳（メタデータ） (2021-04-09T14:50:59Z) - Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。
提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文 参考訳（メタデータ） (2020-10-21T17:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。