論文の概要: Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal
Learning of Deep Spiking Neural Network
- arxiv url: http://arxiv.org/abs/2003.02944v2
- Date: Sun, 26 Jul 2020 03:39:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 12:41:55.851530
- Title: Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal
Learning of Deep Spiking Neural Network
- Title(参考訳): 深部スパイクニューラルネットワークの時空間学習における爆発ニューロンとシナプスフィルタのダイナミクス
- Authors: Haowen Fang, Amar Shrestha, Ziyi Zhao, Qinru Qiu
- Abstract要約: 空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。
ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。
本稿では,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 7.503685643036081
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The recent discovered spatial-temporal information processing capability of
bio-inspired Spiking neural networks (SNN) has enabled some interesting models
and applications. However designing large-scale and high-performance model is
yet a challenge due to the lack of robust training algorithms. A bio-plausible
SNN model with spatial-temporal property is a complex dynamic system. Each
synapse and neuron behave as filters capable of preserving temporal
information. As such neuron dynamics and filter effects are ignored in existing
training algorithms, the SNN downgrades into a memoryless system and loses the
ability of temporal signal processing. Furthermore, spike timing plays an
important role in information representation, but conventional rate-based spike
coding models only consider spike trains statistically, and discard information
carried by its temporal structures. To address the above issues, and exploit
the temporal dynamics of SNNs, we formulate SNN as a network of infinite
impulse response (IIR) filters with neuron nonlinearity. We proposed a training
algorithm that is capable to learn spatial-temporal patterns by searching for
the optimal synapse filter kernels and weights. The proposed model and training
algorithm are applied to construct associative memories and classifiers for
synthetic and public datasets including MNIST, NMNIST, DVS 128 etc.; and their
accuracy outperforms state-of-art approaches.
- Abstract(参考訳): 最近発見されたバイオインスパイクニューラルネットワーク(snn)の時空間情報処理能力は、いくつかの興味深いモデルと応用を可能にした。
しかしながら、堅牢なトレーニングアルゴリズムが欠如しているため、大規模かつ高性能なモデルの設計は依然として課題である。
空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。
各シナプスとニューロンは、時間的情報を保存できるフィルターとして振る舞う。
このようなニューロンダイナミクスやフィルタ効果は既存のトレーニングアルゴリズムでは無視されるため、SNNはメモリレスシステムに格下げし、時間信号処理の能力を失う。
さらに、スパイクタイミングは情報表現において重要な役割を果たすが、従来のレートベースのスパイク符号化モデルはスパイク列車を統計的に考慮し、その時間的構造によって運ばれた情報を破棄するだけである。
上記の問題に対処し、SNNの時間的ダイナミクスを活用するために、ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。
我々は,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案した。
提案したモデルとトレーニングアルゴリズムを用いて,MNIST,NMNIST,DVS 128などの合成および公開データセットの連想記憶と分類器を構築する。
精度は最先端のアプローチを上回っている。
関連論文リスト
- STSC-SNN: Spatio-Temporal Synaptic Connection with Temporal Convolution
and Attention for Spiking Neural Networks [7.422913384086416]
ニューロモルフィックコンピューティングのアルゴリズムモデルの一つであるスパイキングニューラルネットワーク(SNN)は、時間的処理能力のために多くの研究注目を集めている。
SNNの既存のシナプス構造は、ほぼ完全な接続や空間的2次元畳み込みであり、どちらも時間的依存関係を適切に抽出できない。
生体シナプスからインスピレーションを得てシナプス接続SNNモデルを提案し,シナプス接続の時間的受容場を強化する。
時間的依存を伴うシナプスモデルの提供は、分類タスクにおけるSNNの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:13:22Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳(メタデータ) (2022-04-18T23:42:18Z) - Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization
in Graph Learning [9.88508686848173]
内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。
ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。
本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:20:16Z) - Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。
SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。
スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
論文 参考訳(メタデータ) (2020-10-27T11:47:42Z) - A Deep 2-Dimensional Dynamical Spiking Neuronal Network for Temporal
Encoding trained with STDP [10.982390333064536]
哺乳動物の大脳皮質を模倣する動的・カオス的な活動を持つ大きな層状SNNは、時間的データから情報を符号化することができることを示す。
ネットワーク重みに固有のランダム性は、STDPによる自己組織化後に入力される時間データを符号化するグループを形成することができると主張している。
情報伝達の指標として,ネットワークエントロピーの観点からネットワークを解析する。
論文 参考訳(メタデータ) (2020-09-01T17:12:18Z) - Multi-Tones' Phase Coding (MTPC) of Interaural Time Difference by
Spiking Neural Network [68.43026108936029]
雑音の多い実環境下での正確な音像定位のための純粋スパイクニューラルネットワーク(SNN)に基づく計算モデルを提案する。
このアルゴリズムを,マイクロホンアレイを用いたリアルタイムロボットシステムに実装する。
実験の結果, 平均誤差方位は13度であり, 音源定位に対する他の生物学的に妥当なニューロモルフィックアプローチの精度を上回っていることがわかった。
論文 参考訳(メタデータ) (2020-07-07T08:22:56Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。