論文の概要: Multi-scale Evolutionary Neural Architecture Search for Deep Spiking
Neural Networks
- arxiv url: http://arxiv.org/abs/2304.10749v3
- Date: Mon, 11 Sep 2023 06:55:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 21:40:31.979614
- Title: Multi-scale Evolutionary Neural Architecture Search for Deep Spiking
Neural Networks
- Title（参考訳）: ディープスパイクニューラルネットワークのためのマルチスケール進化的ニューラルネットワーク探索
- Authors: Wenxuan Pan, Feifei Zhao, Guobin Shen, Bing Han, Yi Zeng
- Abstract要約: スパイキングニューラルネットワーク(SNN)のためのマルチスケール進化型ニューラルネットワーク探索(MSE-NAS)を提案する。
MSE-NASは脳にインスパイアされた間接的評価機能であるRepresentational Dissimilarity Matrices(RDMs)を介して、個々のニューロンの操作、複数の回路モチーフの自己組織化の統合、およびグローバルなモチーフ間の接続を進化させる
提案アルゴリズムは,静的データセットとニューロモルフィックデータセットのシミュレーションステップを短縮して,最先端(SOTA)性能を実現する。
- 参考スコア（独自算出の注目度）: 11.730984231143104
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Spiking Neural Networks (SNNs) have received considerable attention not only
for their superiority in energy efficiency with discrete signal processing but
also for their natural suitability to integrate multi-scale biological
plasticity. However, most SNNs directly adopt the structure of the
well-established Deep Neural Networks (DNNs), and rarely automatically design
Neural Architecture Search (NAS) for SNNs. The neural motifs topology, modular
regional structure and global cross-brain region connection of the human brain
are the product of natural evolution and can serve as a perfect reference for
designing brain-inspired SNN architecture. In this paper, we propose a
Multi-Scale Evolutionary Neural Architecture Search (MSE-NAS) for SNN,
simultaneously considering micro-, meso- and macro-scale brain topologies as
the evolutionary search space. MSE-NAS evolves individual neuron operation,
self-organized integration of multiple circuit motifs, and global connectivity
across motifs through a brain-inspired indirect evaluation function,
Representational Dissimilarity Matrices (RDMs). This training-free fitness
function could greatly reduce computational consumption and NAS's time, and its
task-independent property enables the searched SNNs to exhibit excellent
transferability on multiple datasets. Furthermore, MSE-NAS show robustness
against the training method and noise. Extensive experiments demonstrate that
the proposed algorithm achieves state-of-the-art (SOTA) performance with
shorter simulation steps on static datasets (CIFAR10, CIFAR100) and
neuromorphic datasets (CIFAR10-DVS and DVS128-Gesture). The thorough analysis
also illustrates the significant performance improvement and consistent
bio-interpretability deriving from the topological evolution at different
scales and the RDMs fitness function.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、離散的な信号処理によるエネルギー効率の優位性だけでなく、マルチスケールの生物学的可塑性を統合する自然的適合性にも大きな注目を集めている。
しかし、ほとんどのSNNは、確立されたディープニューラルネットワーク(DNN)の構造を直接採用しており、SNNのために自動的にニューラルネットワーク探索(NAS)を設計することは滅多にない。
神経モチーフのトポロジー、モジュール型地域構造、人間の脳のグローバルな横断脳領域接続は自然進化の産物であり、脳にインスパイアされたSNNアーキテクチャを設計するための完璧なリファレンスとなる。
本稿では,マイクロ,メソ,マクロの脳トポロジを進化探索空間として考慮し,SNNのためのマルチスケール進化型ニューラルネットワーク探索(MSE-NAS)を提案する。
MSE-NASは、個々のニューロンの操作、複数の回路モチーフの自己組織化の統合、脳にインスパイアされた間接的評価機能であるRepresentational Dissimilarity Matrices (RDMs)を通じて、グローバルなモチーフ間の接続を進化させる。
このトレーニング不要な適合関数は、計算消費とNASの時間を大幅に削減し、そのタスク非依存性により、検索されたSNNが複数のデータセットに優れた転送性を示すことができる。
さらに,MSE-NASはトレーニング法やノイズに対して堅牢性を示す。
提案アルゴリズムは静的データセット (CIFAR10, CIFAR100) とニューロモルフィックデータセット (CIFAR10-DVS, DVS128-Gesture) のシミュレーションステップを短縮して, 最先端 (SOTA) 性能を実現することを示した。
網羅的な分析はまた、異なるスケールでのトポロジ的進化とRDMの適合関数から導かれる顕著な性能改善と一貫した生体解釈可能性を示している。
関連論文リスト
- Spatial-Temporal Search for Spiking Neural Networks [32.937536365872745]
スパイキングニューラルネットワーク(SNN)は、次世代人工知能の潜在的な候補と考えられている。
空間次元と時間次元の両方でSNNを最適化するための微分可能なアプローチを提案する。
本手法は,96.43%,78.96%,70.21%の精度でCIFAR10/100とImageNetの分類性能を比較検討した。
論文 参考訳（メタデータ） (2024-10-24T09:32:51Z) - Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する
本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
論文 参考訳（メタデータ） (2024-05-06T09:58:54Z) - Brain-inspired Evolutionary Architectures for Spiking Neural Networks [6.607406750195899]
スパイキングニューラルネットワーク(SNN)の効率的なアーキテクチャ最適化について検討する。
本稿では,脳にインスパイアされた局所モジュール構造とグローバルモジュール接続を取り入れたSNNアーキテクチャを進化させる。
本稿では,高性能,効率,消費電力の少ないSNNを用いた,数ショット性能予測器に基づく効率的な多目的進化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-11T06:39:11Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks [1.8556712517882232]
スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
論文 参考訳（メタデータ） (2022-06-10T06:41:36Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳（メタデータ） (2022-03-18T07:05:27Z) - Finite Meta-Dynamic Neurons in Spiking Neural Networks for
Spatio-temporal Learning [13.037452551907657]
Spiking Neural Networks (SNN) は、生物学的に証明可能な構造と学習原則を取り入れている。
時相学習におけるネットワークの一般化を改善するために,SNNを改善するメタ動的ニューロン(MDN)を提案する。
MDNは空間的(MNIST)と時間的(TIt)データセットから生成され、その後様々な時間的タスクに拡張された。
論文 参考訳（メタデータ） (2020-10-07T03:49:28Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳（メタデータ） (2020-08-21T19:03:23Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。