論文の概要: Evolving Efficient Genetic Encoding for Deep Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2411.06792v1
- Date: Mon, 11 Nov 2024 08:40:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:12:46.743303
- Title: Evolving Efficient Genetic Encoding for Deep Spiking Neural Networks
- Title（参考訳）: ディープスパイキングニューラルネットワークのための効率的な遺伝的エンコーディングの進化
- Authors: Wenxuan Pan, Feifei Zhao, Bing Han, Haibo Tong, Yi Zeng,
- Abstract要約: Spiking Neural Networks(SNN)は、ANN(Artificial Networks)に代わる低エネルギーの代替手段を提供する
既存のSNNモデルは、多くの時間ステップとネットワーク深さとスケールのために、依然として高い計算コストに直面している。
大規模深部SNNを低コストで制御するために動的に進化する効率的な遺伝的エンコーディング戦略を提案する。
- 参考スコア（独自算出の注目度）: 10.368223587448382
- License:
- Abstract: By exploiting discrete signal processing and simulating brain neuron communication, Spiking Neural Networks (SNNs) offer a low-energy alternative to Artificial Neural Networks (ANNs). However, existing SNN models, still face high computational costs due to the numerous time steps as well as network depth and scale. The tens of billions of neurons and trillions of synapses in the human brain are developed from only 20,000 genes, which inspires us to design an efficient genetic encoding strategy that dynamic evolves to regulate large-scale deep SNNs at low cost. Therefore, we first propose a genetically scaled SNN encoding scheme that incorporates globally shared genetic interactions to indirectly optimize neuronal encoding instead of weight, which obviously brings about reductions in parameters and energy consumption. Then, a spatio-temporal evolutionary framework is designed to optimize the inherently initial wiring rules. Two dynamic regularization operators in the fitness function evolve the neuronal encoding to a suitable distribution and enhance information quality of the genetic interaction respectively, substantially accelerating evolutionary speed and improving efficiency. Experiments show that our approach compresses parameters by approximately 50\% to 80\%, while outperforming models on the same architectures by 0.21\% to 4.38\% on CIFAR-10, CIFAR-100 and ImageNet. In summary, the consistent trends of the proposed genetically encoded spatio-temporal evolution across different datasets and architectures highlight its significant enhancements in terms of efficiency, broad scalability and robustness, demonstrating the advantages of the brain-inspired evolutionary genetic coding for SNN optimization.
- Abstract（参考訳）: 離散的な信号処理と脳神経伝達をシミュレートすることで、スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)の低エネルギーな代替手段を提供する。
しかし、既存のSNNモデルは、多くの時間ステップとネットワークの深さとスケールのために、依然として高い計算コストに直面している。
数十億のニューロンと数兆のシナプスが、わずか2万の遺伝子から開発され、動的に進化し、大規模深部SNNを低コストで制御する効率的な遺伝子エンコーディング戦略を設計するきっかけとなる。
そこで,我々はまず,グローバルに共有される遺伝的相互作用を取り入れた遺伝的に拡張されたSNNエンコーディング方式を提案する。
次に、時空間的進化的フレームワークは、本質的に初期配線規則を最適化するために設計される。
適合機能における2つの動的正規化演算子は、ニューロンの符号化を適切な分布に進化させ、それぞれに遺伝的相互作用の情報品質を高め、進化速度を著しく加速し、効率を向上する。
実験の結果,CIFAR-10,CIFAR-100,ImageNetでは,パラメータを約50～80～8%圧縮する一方,同一アーキテクチャ上でのモデルの性能は0.21～4.38～%向上した。
まとめると、提案された遺伝的にエンコードされた時空間進化の異なるデータセットとアーキテクチャ間の一貫した傾向は、効率性、拡張性、堅牢性の観点から、SNN最適化のための脳にインスパイアされた進化的遺伝的コーディングの利点を証明し、その顕著な拡張を浮き彫りにしている。
関連論文リスト
- NeuroLGP-SM: Scalable Surrogate-Assisted Neuroevolution for Deep Neural Networks [0.0]
進化的アルゴリズムは、人工深層ニューラルネットワーク(DNN)のアーキテクチャ構成とトレーニングにおいて重要な役割を果たす
本研究では, DNNから出力される表現型距離ベクトルと, Kriging partial Least Squares (KPLS) を用いて探索する。
提案手法はニューロLinear Genetic Programming surrogate model (NeuroLGP-SM) と名付けられ, 完全評価を必要とせず, DNNの適合性を効率的に正確に推定する。
論文 参考訳（メタデータ） (2024-04-12T19:15:38Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Brain-inspired Evolutionary Architectures for Spiking Neural Networks [6.607406750195899]
スパイキングニューラルネットワーク(SNN)の効率的なアーキテクチャ最適化について検討する。
本稿では,脳にインスパイアされた局所モジュール構造とグローバルモジュール接続を取り入れたSNNアーキテクチャを進化させる。
本稿では,高性能,効率,消費電力の少ないSNNを用いた,数ショット性能予測器に基づく効率的な多目的進化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-11T06:39:11Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Adaptive Sparse Structure Development with Pruning and Regeneration for
Spiking Neural Networks [6.760855795263126]
スパイキングニューラルネットワーク(SNN)は、深層ニューラルネットワークのエネルギー問題を緩和するために、脳発達のスパース構造的可塑性を描くという自然な利点がある。
本稿では, 樹状突起塑性をベースとしたシナプス拘束, 神経切断, シナプス再生を取り入れたSNNの適応的構造発達手法を提案する。
論文 参考訳（メタデータ） (2022-11-22T12:23:30Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Optimizing Deep Neural Networks through Neuroevolution with Stochastic
Gradient Descent [18.70093247050813]
深部ニューラルネットワーク(DNN)の訓練における勾配降下(SGD)は優勢である
神経進化は進化過程に沿っており、しばしばSGDでは利用できない重要な機能を提供している。
個体群の多様性を改善するために,個体間の重み更新を克服する階層型クラスタ型抑制アルゴリズムも開発されている。
論文 参考訳（メタデータ） (2020-12-21T08:54:14Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Genetic Algorithmic Parameter Optimisation of a Recurrent Spiking Neural
Network Model [0.6767885381740951]
我々は遺伝的アルゴリズム(GA)を用いて繰り返しスパイクニューラルネットワーク(SNN)の最適パラメータを探索する。
我々は,1000個のIzhikevich刺激ニューロンからなる皮質列型SNNを計算効率と生物学的リアリズムのために検討した。
その結果, GAの最適個体数は16～20人以内であり, クロスオーバー率は0.95であった。
論文 参考訳（メタデータ） (2020-03-30T22:44:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。