論文の概要: NeuroLGP-SM: Scalable Surrogate-Assisted Neuroevolution for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2404.08786v3
- Date: Thu, 2 May 2024 15:52:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 21:11:56.986222
- Title: NeuroLGP-SM: Scalable Surrogate-Assisted Neuroevolution for Deep Neural Networks
- Title（参考訳）: NeuroLGP-SM: ディープニューラルネットワークのためのスケーラブルなサロゲート支援神経進化
- Authors: Fergal Stapleton, Edgar Galván,
- Abstract要約: 進化的アルゴリズムは、人工深層ニューラルネットワーク(DNN)のアーキテクチャ構成とトレーニングにおいて重要な役割を果たす
本研究では, DNNから出力される表現型距離ベクトルと, Kriging partial Least Squares (KPLS) を用いて探索する。
提案手法はニューロLinear Genetic Programming surrogate model (NeuroLGP-SM) と名付けられ, 完全評価を必要とせず, DNNの適合性を効率的に正確に推定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evolutionary Algorithms (EAs) play a crucial role in the architectural configuration and training of Artificial Deep Neural Networks (DNNs), a process known as neuroevolution. However, neuroevolution is hindered by its inherent computational expense, requiring multiple generations, a large population, and numerous epochs. The most computationally intensive aspect lies in evaluating the fitness function of a single candidate solution. To address this challenge, we employ Surrogate-assisted EAs (SAEAs). While a few SAEAs approaches have been proposed in neuroevolution, none have been applied to truly large DNNs due to issues like intractable information usage. In this work, drawing inspiration from Genetic Programming semantics, we use phenotypic distance vectors, outputted from DNNs, alongside Kriging Partial Least Squares (KPLS), an approach that is effective in handling these large vectors, making them suitable for search. Our proposed approach, named Neuro-Linear Genetic Programming surrogate model (NeuroLGP-SM), efficiently and accurately estimates DNN fitness without the need for complete evaluations. NeuroLGP-SM demonstrates competitive or superior results compared to 12 other methods, including NeuroLGP without SM, convolutional neural networks, support vector machines, and autoencoders. Additionally, it is worth noting that NeuroLGP-SM is 25% more energy-efficient than its NeuroLGP counterpart. This efficiency advantage adds to the overall appeal of our proposed NeuroLGP-SM in optimising the configuration of large DNNs.
- Abstract（参考訳）: 進化的アルゴリズム(EA)は、神経進化として知られるプロセスであるArtificial Deep Neural Networks(DNN)のアーキテクチャ構成とトレーニングにおいて重要な役割を果たす。
しかし、神経進化は、その固有の計算コストによって妨げられ、複数の世代、多数の人口、多くのエポックを必要としている。
最も計算集約的な側面は、単一の候補解の適合関数を評価することである。
この課題に対処するため、我々はSurrogate-assisted EAs (SAEAs) を採用する。
神経進化においていくつかのSAEAアプローチが提案されているが、難解な情報利用のような問題のため、真のDNNには適用されていない。
本研究では、遺伝的プログラミングのセマンティクスからインスピレーションを得て、DNNから出力される表現型距離ベクトルと、これらの大きなベクトルを扱うのに有効なKPLS(Partial Least Squares)とを併用し、探索に適した手法を提案する。
提案手法はニューロLinear Genetic Programming surrogate model (NeuroLGP-SM) と名付けられ, 完全評価を必要とせず, DNNの適合性を効率的に正確に推定する。
NeuroLGP-SMは、SMを持たないNeuroLGP、畳み込みニューラルネットワーク、サポートベクターマシン、オートエンコーダなど、他の12の方法と比較して、競合的または優れた結果を示す。
また、NeuroLGP-SMはNeuroLGPよりも25%エネルギー効率が高い。
この効率性は,提案したNeuroLGP-SMが大規模DNNの構成を最適化する際の全体的な魅力を増す。
関連論文リスト
- Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - NeuroLGP-SM: A Surrogate-assisted Neuroevolution Approach using Linear Genetic Programming [0.19116784879310028]
我々はNeuroLGP-Surrogate Model(NeuroLGP-SM)と呼ばれるディープニューラルネットワーク(DNN)のトレーニング手法を提案する。
論文 参考訳（メタデータ） (2024-03-28T14:31:01Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Astrocyte-Integrated Dynamic Function Exchange in Spiking Neural
Networks [0.0]
本稿では,スパイキングニューラルネットワーク(SNN)の堅牢性と計算効率を向上させるための革新的な手法を提案する。
提案手法はヒト脳に広く分布するグリア細胞であるアストロサイトをSNNに統合し、アストロサイトを増強したネットワークを形成する。
特に、アストロサイトを拡張したSNNは、ほぼゼロのレイテンシと理論上無限のスループットを示し、計算効率が極めて高いことを示唆している。
論文 参考訳（メタデータ） (2023-09-15T08:02:29Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Initial Steps Towards Tackling High-dimensional Surrogate Modeling for
Neuroevolution Using Kriging Partial Least Squares [0.0]
サロゲート支援進化アルゴリズム(SAEA)は、進化計算システムにおける適合関数の近似を目的とし、効率的な計算モデルを使用することを目的としている。
SAEAsコミュニティからほとんど注目を集めていない、創発的でエキサイティングな領域は、神経進化にある。
近似代理モデルの効率的な計算を可能にするKriging partial Least Squares法をどう利用できるかを示す。
論文 参考訳（メタデータ） (2023-05-05T15:17:03Z) - SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network [12.237928453571636]
スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力と消費電力の低さから、研究者の関心を喚起している。
現在の最先端の手法は、ニューロンが単純な Leaky-Integrate-and-Fire (LIF) モデルに基づいて構築されているため、生物学的な可視性と性能を制限している。
高レベルの動的複雑さのため、現代のニューロンモデルがSNNの実践で実装されることはめったにない。
論文 参考訳（メタデータ） (2022-03-30T07:50:44Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳（メタデータ） (2020-08-21T19:03:23Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳（メタデータ） (2020-04-24T14:37:56Z) - Genetic Algorithmic Parameter Optimisation of a Recurrent Spiking Neural
Network Model [0.6767885381740951]
我々は遺伝的アルゴリズム(GA)を用いて繰り返しスパイクニューラルネットワーク(SNN)の最適パラメータを探索する。
我々は,1000個のIzhikevich刺激ニューロンからなる皮質列型SNNを計算効率と生物学的リアリズムのために検討した。
その結果, GAの最適個体数は16～20人以内であり, クロスオーバー率は0.95であった。
論文 参考訳（メタデータ） (2020-03-30T22:44:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。