論文の概要: Weighted Random Search for CNN Hyperparameter Optimization
- arxiv url: http://arxiv.org/abs/2003.13300v1
- Date: Mon, 30 Mar 2020 09:40:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 06:41:18.877928
- Title: Weighted Random Search for CNN Hyperparameter Optimization
- Title(参考訳): CNNハイパーパラメータ最適化のための重み付きランダム探索
- Authors: Razvan Andonie, Adrian-Catalin Florea
- Abstract要約: 本稿では、ランダム探索(RS)と確率的欲求を組み合わせた重み付きランダム探索(WRS)手法を提案する。
基準は、ハイパーパラメーター値の試験された組み合わせの同じ数内で達成される分類精度である。
我々の実験によると、WRSアルゴリズムは他の手法よりも優れています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nearly all model algorithms used in machine learning use two different sets
of parameters: the training parameters and the meta-parameters
(hyperparameters). While the training parameters are learned during the
training phase, the values of the hyperparameters have to be specified before
learning starts. For a given dataset, we would like to find the optimal
combination of hyperparameter values, in a reasonable amount of time. This is a
challenging task because of its computational complexity. In previous work
[11], we introduced the Weighted Random Search (WRS) method, a combination of
Random Search (RS) and probabilistic greedy heuristic. In the current paper, we
compare the WRS method with several state-of-the art hyperparameter
optimization methods with respect to Convolutional Neural Network (CNN)
hyperparameter optimization. The criterion is the classification accuracy
achieved within the same number of tested combinations of hyperparameter
values. According to our experiments, the WRS algorithm outperforms the other
methods.
- Abstract(参考訳): 機械学習で使用されるほぼ全てのモデルアルゴリズムは、トレーニングパラメータとメタパラメータ(ハイパーパラメータ)の2つの異なるパラメータを使用する。
トレーニングフェーズではトレーニングパラメータが学習されるが、学習が始まる前にハイパーパラメータの値を指定する必要がある。
与えられたデータセットに対して、適切な時間内にハイパーパラメータ値の最適な組み合わせを見つけたいと思っています。
これは計算の複雑さから難しい課題である。
先行研究 [11] では,無作為探索 (rs) と確率的欲欲ヒューリスティックを組み合わせた重み付きランダム探索 (wrs) 法を導入した。
本稿では,WRS法と最先端のハイパーパラメータ最適化手法を比較し,畳み込みニューラルネットワーク(CNN)のハイパーパラメータ最適化について述べる。
基準は、ハイパーパラメータ値の試験された組み合わせ数で達成された分類精度である。
我々の実験によると、WRSアルゴリズムは他の手法よりも優れている。
関連論文リスト
- Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。
12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
論文 参考訳(メタデータ) (2023-03-27T13:52:40Z) - Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。
そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。
理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-02-18T23:31:20Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳(メタデータ) (2022-05-26T12:51:32Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-03-15T19:25:01Z) - HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using
Evolutionary Optimization [1.6114012813668934]
改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。
最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
論文 参考訳(メタデータ) (2021-09-11T16:45:39Z) - HyperNP: Interactive Visual Exploration of Multidimensional Projection
Hyperparameters [61.354362652006834]
HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。
我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
論文 参考訳(メタデータ) (2021-06-25T17:28:14Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳(メタデータ) (2021-02-17T21:03:05Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳(メタデータ) (2021-02-15T19:36:18Z) - Self-supervised learning for fast and scalable time series
hyper-parameter tuning [14.9124328578934]
時系列モデルのハイパーパラメータは時系列解析において重要な役割を果たす。
我々はHPT(SSL-HPT)のための自己教師型学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-10T21:16:13Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳(メタデータ) (2020-06-03T08:53:48Z) - Weighted Random Search for Hyperparameter Optimization [0.0]
本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。
我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。
同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
論文 参考訳(メタデータ) (2020-04-03T15:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。