論文の概要: Co-learning synaptic delays, weights and adaptation in spiking neural
networks
- arxiv url: http://arxiv.org/abs/2311.16112v1
- Date: Tue, 12 Sep 2023 09:13:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 15:23:38.500236
- Title: Co-learning synaptic delays, weights and adaptation in spiking neural
networks
- Title（参考訳）: スパイクニューラルネットワークにおける共学習シナプス遅延、重み付け、適応
- Authors: Lucas Deckers, Laurens Van Damme, Ing Jyh Tsang, Werner Van Leekwijck
and Steven Latr\'e
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。
スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks (SNN) distinguish themselves from artificial neural
networks (ANN) because of their inherent temporal processing and spike-based
computations, enabling a power-efficient implementation in neuromorphic
hardware. In this paper, we demonstrate that data processing with spiking
neurons can be enhanced by co-learning the connection weights with two other
biologically inspired neuronal features: 1) a set of parameters describing
neuronal adaptation processes and 2) synaptic propagation delays. The former
allows the spiking neuron to learn how to specifically react to incoming spikes
based on its past. The trained adaptation parameters result in neuronal
heterogeneity, which is found in the brain and also leads to a greater variety
in available spike patterns. The latter enables to learn to explicitly
correlate patterns that are temporally distanced. Synaptic delays reflect the
time an action potential requires to travel from one neuron to another. We show
that each of the co-learned features separately leads to an improvement over
the baseline SNN and that the combination of both leads to state-of-the-art SNN
results on all speech recognition datasets investigated with a simple 2-hidden
layer feed-forward network. Our SNN outperforms the ANN on the neuromorpic
datasets (Spiking Heidelberg Digits and Spiking Speech Commands), even with
fewer trainable parameters. On the 35-class Google Speech Commands dataset, our
SNN also outperforms a GRU of similar size. Our work presents brain-inspired
improvements to SNN that enable them to excel over an equivalent ANN of similar
size on tasks with rich temporal dynamics.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、時間的処理とスパイクベースの計算によって、ニューラルネットワーク(ANN)と区別される。
本稿では、スパイキングニューロンを用いたデータ処理が、他の2つの生物学的にインスパイアされたニューロンの特徴と接続重みを協調学習することによって向上できることを実証する。
1)ニューロン適応過程を記述するパラメータの組と、
2)シナプス伝播遅延。
前者では、スパイクニューロンが過去に基づいてスパイクに特異的に反応する方法を学ぶことができる。
訓練された適応パラメータは、脳内で見られる神経細胞の不均一性をもたらし、また利用可能なスパイクパターンの多様性も向上する。
後者は、時間的に離れたパターンを明示的に関連付けることができる。
シナプス遅延は、活動電位があるニューロンから別のニューロンへ移動するのに必要な時間を反映している。
共同学習した各特徴は、ベースラインSNNよりも改善され、両者の組み合わせは、単純な2階層フィードフォワードネットワークを用いて調査された全ての音声認識データセットに対して、最先端のSNN結果をもたらすことを示す。
我々のSNNは、トレーニング可能なパラメータが少なくても、ニューロモピックデータセット(Spiking Heidelberg DigitsとSpike Speech Commands)でANNより優れています。
35クラスのGoogle Speech Commandsデータセットでは、SNNも同様のサイズのGRUを上回っています。
我々の研究は、脳にインスパイアされたSNNの改善を示し、時間的ダイナミクスの豊富なタスクにおいて、同等の大きさのANNをエクササイズすることができる。
関連論文リスト
- Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳（メタデータ） (2024-05-27T05:53:30Z) - Curriculum Design Helps Spiking Neural Networks to Classify Time Series [16.402675046686834]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも時系列データをモデル化する可能性が大きい
この研究において、脳にインスパイアされた科学によって啓蒙され、構造だけでなく学習過程も人間に似ていなければならないことが判明した。
論文 参考訳（メタデータ） (2023-12-26T02:04:53Z) - Deep Pulse-Coupled Neural Networks [31.65350290424234]
ニューラルネットワーク(SNN)は、ニューロンを利用して脳の情報処理機構をキャプチャする。
本研究では、複雑な力学、すなわちパルス結合型ニューラルネットワーク(PCNN)を用いた、より生物学的に実証可能なニューラルモデルを活用する。
我々は、SNNでよく使われるLIFニューロンをPCNNニューロンに置き換えることで、ディープパルス結合ニューラルネットワーク(DPCNN)を構築する。
論文 参考訳（メタデータ） (2023-12-24T08:26:00Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Complex Dynamic Neurons Improved Spiking Transformer Network for
Efficient Automatic Speech Recognition [8.998797644039064]
リークインテグレーテッド・アンド・ファイア(LIF)ニューロンを用いたスパイクニューラルネットワーク(SNN)は、音声認識(ASR)タスクで一般的に用いられている。
ここでは、スパイキングトランスから生成された逐次パターンを後処理する4種類の神経力学を紹介する。
その結果,DyTr-SNNは音素誤り率の低下,計算コストの低下,ロバスト性の向上など,非トイ自動音声認識タスクをうまく処理できることがわかった。
論文 参考訳（メタデータ） (2023-02-02T16:20:27Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Event-based Video Reconstruction via Potential-assisted Spiking Neural
Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。
完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。
スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文 参考訳（メタデータ） (2022-01-25T02:05:20Z) - Spiking Neural Networks with Improved Inherent Recurrence Dynamics for
Sequential Learning [6.417011237981518]
漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。
我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。
そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
論文 参考訳（メタデータ） (2021-09-04T17:13:28Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳（メタデータ） (2021-05-27T08:38:31Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。