論文の概要: Hybrid Genetic Algorithm and Hill Climbing Optimization for the Neural
Network
- arxiv url: http://arxiv.org/abs/2308.13099v1
- Date: Thu, 24 Aug 2023 22:03:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 15:30:13.397782
- Title: Hybrid Genetic Algorithm and Hill Climbing Optimization for the Neural
Network
- Title（参考訳）: ニューラルネットワークのためのハイブリッド遺伝的アルゴリズムとヒルクライミング最適化
- Authors: Krutika Sarode, Shashidhar Reddy Javaji
- Abstract要約: CIFAR-100データセット上での畳み込みニューラルネットワーク(CNN)の最適化のための遺伝的アルゴリズムとヒルクライミングアルゴリズムを組み合わせたハイブリッドモデルを提案する。
提案したハイブリッドモデルでは, 標準アルゴリズムと比較して, より少ない世代で精度が向上する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a hybrid model combining genetic algorithm and hill
climbing algorithm for optimizing Convolutional Neural Networks (CNNs) on the
CIFAR-100 dataset. The proposed model utilizes a population of chromosomes that
represent the hyperparameters of the CNN model. The genetic algorithm is used
for selecting and breeding the fittest chromosomes to generate new offspring.
The hill climbing algorithm is then applied to the offspring to further
optimize their hyperparameters. The mutation operation is introduced to
diversify the population and to prevent the algorithm from getting stuck in
local optima. The Genetic Algorithm is used for global search and exploration
of the search space, while Hill Climbing is used for local optimization of
promising solutions. The objective function is the accuracy of the trained
neural network on the CIFAR-100 test set. The performance of the hybrid model
is evaluated by comparing it with the standard genetic algorithm and
hill-climbing algorithm. The experimental results demonstrate that the proposed
hybrid model achieves better accuracy with fewer generations compared to the
standard algorithms. Therefore, the proposed hybrid model can be a promising
approach for optimizing CNN models on large datasets.
- Abstract（参考訳）: 本稿では,CIFAR-100データセット上での畳み込みニューラルネットワーク(CNN)を最適化するための遺伝的アルゴリズムとヒルクライミングアルゴリズムを組み合わせたハイブリッドモデルを提案する。
提案モデルはCNNモデルのハイパーパラメータを表す染色体の集団を利用する。
遺伝的アルゴリズムは、新しい子孫を生み出すために適合した染色体の選択と育種に使用される。
次にヒルクライミングアルゴリズムを子孫に適用し、ハイパーパラメータをさらに最適化する。
変異操作は個体群を多様化させ、アルゴリズムが局所光学系に詰まるのを防ぐために導入される。
遺伝的アルゴリズムは検索空間のグローバル検索と探索に使われ、ヒルクライミングは期待できる解の局所最適化に使われている。
目的関数は、CIFAR-100テストセット上のトレーニングニューラルネットワークの精度である。
ハイブリッドモデルの性能を,標準遺伝的アルゴリズムとヒルクライミングアルゴリズムとの比較により評価した。
実験の結果,提案したハイブリッドモデルでは,標準アルゴリズムよりも少ない世代で精度が向上していることがわかった。
したがって、提案するハイブリッドモデルは、大規模データセット上でcnnモデルを最適化するための有望なアプローチとなり得る。
関連論文リスト
- Randomized Geometric Algebra Methods for Convex Neural Networks [45.318490912354825]
我々はクリフォードの幾何代数にランダム化アルゴリズムを導入し、超複素ベクトル空間にランダム化線形代数を一般化する。
この新しいアプローチは、凸最適化によるグローバル最適性へのニューラルネットワークのトレーニングを含む、機械学習に多くの意味を持つ。
論文 参考訳（メタデータ） (2024-06-04T22:22:39Z) - An Efficient High-Dimensional Gene Selection Approach based on Binary
Horse Herd Optimization Algorithm for Biological Data Classification [1.1510009152620668]
Horse Herd Optimization Algorithm (HOA)は、異なる年齢の馬の行動に基づく新しいメタヒューリスティックアルゴリズムである。
本稿では、離散的な問題を解くためにHOAのバイナリバージョンを提案し、特徴部分集合を選択する。
提案手法 (MRMR-BHOA) は, 精度, 最小選択特性において優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-18T19:40:59Z) - Genetically Modified Wolf Optimization with Stochastic Gradient Descent
for Optimising Deep Neural Networks [0.0]
本研究の目的は、人口ベースメタヒューリスティックアルゴリズムを用いて、ニューラルネットワーク(NN)重み付けを最適化するための代替アプローチを分析することである。
Grey Wolf (GWO) と Genetic Modified Algorithms (GA) のハイブリッドをグラディエント・Descent (SGD) と組み合わせて検討した。
このアルゴリズムは、高次元性の問題にも対処しながら、エクスプロイトと探索の組み合わせを可能にする。
論文 参考訳（メタデータ） (2023-01-21T13:22:09Z) - Massively Parallel Genetic Optimization through Asynchronous Propagation
of Populations [50.591267188664666]
Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。
提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。
Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
論文 参考訳（メタデータ） (2023-01-20T18:17:34Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-06-22T16:07:02Z) - Genetic-algorithm-optimized neural networks for gravitational wave
classification [0.0]
遺伝的アルゴリズム(GA)に基づくハイパーパラメータ最適化の新しい手法を提案する。
我々は,初期パラメータのシード値が良い解には程遠い場合に,GAが高品質なアーキテクチャを発見できることを示す。
遺伝的アルゴリズムの最適化を用いて既存のネットワークを洗練することは、問題コンテキストが変化した場合に特に有用である。
論文 参考訳（メタデータ） (2020-10-09T03:14:20Z) - Genetic optimization algorithms applied toward mission computability
models [0.3655021726150368]
遺伝的アルゴリズムは計算ベースであり、計算に低コストである。
遺伝的最適化アルゴリズムをミッションクリティカルかつ制約対応の問題に記述する。
論文 参考訳（メタデータ） (2020-05-27T00:45:24Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - GeneCAI: Genetic Evolution for Acquiring Compact AI [36.04715576228068]
ディープニューラルネットワーク(DNN)は、より高い推論精度を達成するために、より複雑なアーキテクチャへと進化している。
モデル圧縮技術は、リソース制限されたモバイルデバイスにそのような計算集約的なアーキテクチャを効率的に展開するために利用することができる。
本稿では,階層ごとの圧縮ハイパーパラメータのチューニング方法を自動的に学習する新しい最適化手法であるGeneCAIを紹介する。
論文 参考訳（メタデータ） (2020-04-08T20:56:37Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。