論文の概要: A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks
- arxiv url: http://arxiv.org/abs/2206.06129v3
- Date: Mon, 3 Apr 2023 08:12:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 01:14:13.711987
- Title: A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks
- Title(参考訳): スパイクニューラルネットワークのためのシナプス閾値シナジスティック学習手法
- Authors: Hongze Sun, Wuque Cai, Baoxin Yang, Yan Cui, Yang Xia, Dezhong Yao,
Daqing Guo
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
- 参考スコア(独自算出の注目度): 1.8556712517882232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) have demonstrated excellent capabilities in
various intelligent scenarios. Most existing methods for training SNNs are
based on the concept of synaptic plasticity; however, learning in the realistic
brain also utilizes intrinsic non-synaptic mechanisms of neurons. The spike
threshold of biological neurons is a critical intrinsic neuronal feature that
exhibits rich dynamics on a millisecond timescale and has been proposed as an
underlying mechanism that facilitates neural information processing. In this
study, we develop a novel synergistic learning approach that involves
simultaneously training synaptic weights and spike thresholds in SNNs. SNNs
trained with synapse-threshold synergistic learning~(STL-SNNs) achieve
significantly superior performance on various static and neuromorphic datasets
than SNNs trained with two degenerated single-learning models. During training,
the synergistic learning approach optimizes neural thresholds, providing the
network with stable signal transmission via appropriate firing rates. Further
analysis indicates that STL-SNNs are robust to noisy data and exhibit low
energy consumption for deep network structures. Additionally, the performance
of STL-SNN can be further improved by introducing a generalized joint decision
framework. Overall, our findings indicate that biologically plausible synergies
between synaptic and intrinsic non-synaptic mechanisms may provide a promising
approach for developing highly efficient SNN learning methods.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
既存のsnsの訓練方法はシナプス可塑性の概念に基づいているが、現実的脳での学習はニューロンの非シナプス機構も活用している。
生体ニューロンのスパイク閾値は、ミリ秒の時間スケールでリッチなダイナミクスを示す重要な内在神経の特徴であり、神経情報処理の基盤となるメカニズムとして提案されている。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
シナプス・スレッショルド・シナジスティック・ラーニング(STL-SNN)で訓練されたSNNは、2つの非生成シングルラーニングモデルで訓練されたSNNよりも、様々な静的およびニューロモルフィックなデータセットで大幅に優れた性能を発揮する。
トレーニング中、シナジスティック学習アプローチは神経閾値を最適化し、適切な発射率で安定した信号伝達を提供する。
さらに分析した結果、STL-SNNはノイズの多いデータに対して堅牢であり、深層ネットワーク構造に対する低エネルギー消費を示すことが示された。
さらに、一般化された共同決定フレームワークを導入することにより、STL-SNNの性能をさらに向上することができる。
以上の結果から, シナプスと内因性非シナプス機構の相乗効果は, SNN学習法の開発に有効である可能性が示唆された。
関連論文リスト
- SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Multi-scale Evolutionary Neural Architecture Search for Deep Spiking
Neural Networks [7.271032282434803]
スパイキングニューラルネットワーク(SNN)のためのマルチスケール進化型ニューラルネットワーク探索(MSE-NAS)を提案する。
MSE-NASは脳にインスパイアされた間接的評価機能であるRepresentational Dissimilarity Matrices(RDMs)を介して、個々のニューロンの操作、複数の回路モチーフの自己組織化の統合、およびグローバルなモチーフ間の接続を進化させる
提案アルゴリズムは,静的データセットとニューロモルフィックデータセットのシミュレーションステップを短縮して,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2023-04-21T05:36:37Z) - Modeling Associative Plasticity between Synapses to Enhance Learning of
Spiking Neural Networks [4.736525128377909]
Spiking Neural Networks(SNN)は、ニューラルネットワークの第3世代であり、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする。
本稿では,シナプス間の結合可塑性をモデル化し,頑健で効果的な学習機構を提案する。
本手法は静的および最先端のニューロモルフィックデータセット上での優れた性能を実現する。
論文 参考訳(メタデータ) (2022-07-24T06:12:23Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳(メタデータ) (2022-06-21T09:42:30Z) - Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural
Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。
本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文 参考訳(メタデータ) (2022-05-31T17:02:26Z) - SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network [12.237928453571636]
スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力と消費電力の低さから、研究者の関心を喚起している。
現在の最先端の手法は、ニューロンが単純な Leaky-Integrate-and-Fire (LIF) モデルに基づいて構築されているため、生物学的な可視性と性能を制限している。
高レベルの動的複雑さのため、現代のニューロンモデルがSNNの実践で実装されることはめったにない。
論文 参考訳(メタデータ) (2022-03-30T07:50:44Z) - SpikePropamine: Differentiable Plasticity in Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)におけるシナプス可塑性と神経調節シナプス可塑性のダイナミクスを学習するための枠組みを導入する。
異なる可塑性で強化されたSNNは、時間的学習課題の集合を解決するのに十分であることを示す。
これらのネットワークは、高次元のロボット学習タスクで移動を生成できることも示されている。
論文 参考訳(メタデータ) (2021-06-04T19:29:07Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳(メタデータ) (2020-08-21T19:03:23Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。