論文の概要: Efficient Hyperparameter Optimization in Deep Learning Using a Variable Length Genetic Algorithm

• arxiv url: http://arxiv.org/abs/2006.12703v1
• Date: Tue, 23 Jun 2020 02:37:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 21:40:29.228870
• Title: Efficient Hyperparameter Optimization in Deep Learning Using a Variable Length Genetic Algorithm
• Title（参考訳）: 可変長遺伝的アルゴリズムを用いたディープラーニングにおける高パラメータ最適化
• Authors: Xueli Xiao, Ming Yan, Sunitha Basodi, Chunyan Ji, Yi Pan
• Abstract要約: CNNのハイパーパラメータを体系的に自動調整する可変長遺伝的アルゴリズム(GA)を提案する。 実験の結果,提案アルゴリズムは優れたCNNハイパーパラメータを効率的に見つけることができることがわかった。
• 参考スコア（独自算出の注目度）: 10.497188475929299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNN) have gained great success in many artificial intelligence tasks. However, finding a good set of hyperparameters for a CNN remains a challenging task. It usually takes an expert with deep knowledge, and trials and errors. Genetic algorithms have been used in hyperparameter optimizations. However, traditional genetic algorithms with fixed-length chromosomes may not be a good fit for optimizing deep learning hyperparameters, because deep learning models have variable number of hyperparameters depending on the model depth. As the depth increases, the number of hyperparameters grows exponentially, and searching becomes exponentially harder. It is important to have an efficient algorithm that can find a good model in reasonable time. In this article, we propose to use a variable length genetic algorithm (GA) to systematically and automatically tune the hyperparameters of a CNN to improve its performance. Experimental results show that our algorithm can find good CNN hyperparameters efficiently. It is clear from our experiments that if more time is spent on optimizing the hyperparameters, better results could be achieved. Theoretically, if we had unlimited time and CPU power, we could find the optimized hyperparameters and achieve the best results in the future.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は多くの人工知能タスクで大きな成功を収めている。 しかし、CNNに適したハイパーパラメータセットを見つけることは、依然として難しい課題である。 通常、深い知識と試行錯誤を専門とする。 遺伝的アルゴリズムはハイパーパラメータ最適化に使われている。 しかしながら、固定長染色体を持つ従来の遺伝的アルゴリズムは、深層学習モデルがモデル深度に依存して可変数のハイパーパラメータを持つため、ディープラーニングハイパーパラメータを最適化するのに適していないかもしれない。 深さが大きくなるにつれて、ハイパーパラメータの数は指数関数的に増加し、探索は指数関数的に難しくなる。 適切な時間で良いモデルを見つけることができる効率的なアルゴリズムを持つことが重要です。 本稿では、可変長遺伝的アルゴリズム(GA)を用いて、CNNのハイパーパラメータを体系的に自動調整し、その性能を改善することを提案する。 実験の結果,良好なcnnハイパーパラメータを効率的に検出できることがわかった。 我々の実験から、ハイパーパラメータの最適化により多くの時間を費やすと、より良い結果が得られます。 理論的には、無制限の時間とCPUパワーがあれば、最適化されたハイパーパラメータを見つけ、将来最高の結果が得られるでしょう。

関連論文リスト

• Massively Parallel Genetic Optimization through Asynchronous Propagation of Populations [50.591267188664666]
  Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。 提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。 Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
  論文  参考訳（メタデータ） (2023-01-20T18:17:34Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)
• HyperNP: Interactive Visual Exploration of Multidimensional Projection Hyperparameters [61.354362652006834]
  HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。 我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
  論文  参考訳（メタデータ） (2021-06-25T17:28:14Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)
• Weighted Random Search for CNN Hyperparameter Optimization [0.0]
  本稿では、ランダム探索(RS)と確率的欲求を組み合わせた重み付きランダム探索(WRS)手法を提案する。 基準は、ハイパーパラメーター値の試験された組み合わせの同じ数内で達成される分類精度である。 我々の実験によると、WRSアルゴリズムは他の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T09:40:14Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)
• Optimization of Convolutional Neural Network Using the Linearly Decreasing Weight Particle Swarm Optimization [0.0]
  畳み込みニューラルネットワーク(CNN)は、最も頻繁に使用されるディープラーニング技術の1つである。 本稿では,Linely reduced weight Particle Swarm Optimization (LDWPSO)を用いたCNNハイパーパラメータ最適化を提案する。 その結果、MNISTデータセットを使用する場合、ベースラインCNNは5世紀で94.02%、LDWPSO CNNでは98.95%となり、精度が向上した。
  論文  参考訳（メタデータ） (2020-01-16T06:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。