論文の概要: Genetically Modified Wolf Optimization with Stochastic Gradient Descent
for Optimising Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2301.08950v1
- Date: Sat, 21 Jan 2023 13:22:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 15:41:25.919518
- Title: Genetically Modified Wolf Optimization with Stochastic Gradient Descent
for Optimising Deep Neural Networks
- Title（参考訳）: 遺伝的に修飾されたウルフ最適化による深部ニューラルネットワークの最適化
- Authors: Manuel Bradicic, Michal Sitarz, Felix Sylvest Olesen
- Abstract要約: 本研究の目的は、人口ベースメタヒューリスティックアルゴリズムを用いて、ニューラルネットワーク(NN)重み付けを最適化するための代替アプローチを分析することである。
Grey Wolf (GWO) と Genetic Modified Algorithms (GA) のハイブリッドをグラディエント・Descent (SGD) と組み合わせて検討した。
このアルゴリズムは、高次元性の問題にも対処しながら、エクスプロイトと探索の組み合わせを可能にする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When training Convolutional Neural Networks (CNNs) there is a large emphasis
on creating efficient optimization algorithms and highly accurate networks. The
state-of-the-art method of optimizing the networks is done by using gradient
descent algorithms, such as Stochastic Gradient Descent (SGD). However, there
are some limitations presented when using gradient descent methods. The major
drawback is the lack of exploration, and over-reliance on exploitation. Hence,
this research aims to analyze an alternative approach to optimizing neural
network (NN) weights, with the use of population-based metaheuristic
algorithms. A hybrid between Grey Wolf Optimizer (GWO) and Genetic Algorithms
(GA) is explored, in conjunction with SGD; producing a Genetically Modified
Wolf optimization algorithm boosted with SGD (GMW-SGD). This algorithm allows
for a combination between exploitation and exploration, whilst also tackling
the issue of high-dimensionality, affecting the performance of standard
metaheuristic algorithms. The proposed algorithm was trained and tested on
CIFAR-10 where it performs comparably to the SGD algorithm, reaching high test
accuracy, and significantly outperforms standard metaheuristic algorithms.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)のトレーニングでは、効率的な最適化アルゴリズムと高精度ネットワークの作成に重点が置かれている。
ネットワークを最適化する最先端の手法は、SGD(Stochastic Gradient Descent)のような勾配降下アルゴリズムを用いて行われる。
しかし,勾配降下法にはいくつかの限界がある。
主な欠点は探検の欠如と搾取への過度な依存である。
そこで本研究では,人口ベースメタヒューリスティックアルゴリズムを用いて,ニューラルネットワーク(NN)重み付けを最適化するための代替手法を解析することを目的とした。
グレイウルフオプティマイザ (gwo) と遺伝的アルゴリズム (ga) のハイブリッドをsgdと組み合わせて検討し, sgd (gmw-sgd) を加味した遺伝的修飾ウルフ最適化アルゴリズムを作成した。
このアルゴリズムは、搾取と探索の組合せを可能にし、また高次元の問題にも取り組み、標準的なメタヒューリスティックアルゴリズムの性能に影響を与える。
提案したアルゴリズムはcifar-10で訓練され、sgdアルゴリズムと同等の性能を発揮し、高いテスト精度を達成し、標準のメタヒューリスティックアルゴリズムを大きく上回っている。
関連論文リスト
- Enhancing CNN Classification with Lamarckian Memetic Algorithms and Local Search [0.0]
そこで本研究では,局所探索機能を組み込んだ2段階学習手法と集団最適化アルゴリズムを併用した新しい手法を提案する。
実験の結果,提案手法は最先端の勾配に基づく手法よりも優れていた。
論文 参考訳（メタデータ） (2024-10-26T17:31:15Z) - Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks [2.0072624123275533]
一般化されたガウスニュートン(GGN)最適化法は、曲率推定を解法に組み込む。
本研究では、2層ニューラルネットワークを明示的な正規化で最適化するGGN法について検討する。
論文 参考訳（メタデータ） (2024-04-23T10:02:22Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - GOOSE Algorithm: A Powerful Optimization Tool for Real-World Engineering Challenges and Beyond [4.939986309170004]
GOOSEアルゴリズムは19のよく知られたテスト関数でベンチマークされる。
提案アルゴリズムは, 最新のベンチマーク関数10を用いて検証する。
得られた結果は,提案アルゴリズムの優れた性能を示すものである。
論文 参考訳（メタデータ） (2023-07-19T19:14:25Z) - Stochastic Ratios Tracking Algorithm for Large Scale Machine Learning
Problems [0.7614628596146599]
古典的なSGDフレームワークにおける適応的なステップ長選択のための新しいアルゴリズムを提案する。
妥当な条件下では、アルゴリズムは十分に確立された理論的な要件に従ってステップ長を生成する。
このアルゴリズムは,手動チューニングから得られる最良ステップ長に匹敵するステップ長を生成することができることを示す。
論文 参考訳（メタデータ） (2023-05-17T06:22:11Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳（メタデータ） (2022-10-27T01:58:10Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - A Dynamical View on Optimization Algorithms of Overparameterized Neural
Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。
その結果、ニューラルネットワークの収束挙動を利用することができる。
このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文 参考訳（メタデータ） (2020-10-25T17:10:22Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。