論文の概要: Long Short-Term Memory Spiking Networks and Their Applications
- arxiv url: http://arxiv.org/abs/2007.04779v1
- Date: Thu, 9 Jul 2020 13:22:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 03:12:49.283771
- Title: Long Short-Term Memory Spiking Networks and Their Applications
- Title(参考訳): 短期記憶スパイキングネットワークとその応用
- Authors: Ali Lotfi Rezaabad and Sriram Vishwanath
- Abstract要約: 繰り返しスパイクニューラルネットワーク(SNN)のトレーニングのための新しいフレームワークを提案する。
LSTMスパイクネットワークはスパイクのタイミングと時間的依存性を学習する。
また,LSTMをベースとしたSNN内でエラーのバックプロパゲーションを行う手法を開発した。
- 参考スコア(独自算出の注目度): 10.071615423169902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in event-based neuromorphic systems have resulted in
significant interest in the use and development of spiking neural networks
(SNNs). However, the non-differentiable nature of spiking neurons makes SNNs
incompatible with conventional backpropagation techniques. In spite of the
significant progress made in training conventional deep neural networks (DNNs),
training methods for SNNs still remain relatively poorly understood. In this
paper, we present a novel framework for training recurrent SNNs. Analogous to
the benefits presented by recurrent neural networks (RNNs) in learning time
series models within DNNs, we develop SNNs based on long short-term memory
(LSTM) networks. We show that LSTM spiking networks learn the timing of the
spikes and temporal dependencies. We also develop a methodology for error
backpropagation within LSTM-based SNNs. The developed architecture and method
for backpropagation within LSTM-based SNNs enable them to learn long-term
dependencies with comparable results to conventional LSTMs.
- Abstract(参考訳): 事象ベースのニューロモルフィックシステムの最近の進歩は、スパイキングニューラルネットワーク(SNN)の使用と開発に大きな関心を寄せている。
しかし、スパイキングニューロンの非分化性により、SNNは従来のバックプロパゲーション技術と相容れない。
従来のディープニューラルネットワーク(DNN)のトレーニングでは大きな進歩があったが、SNNのトレーニング方法はまだよく分かっていない。
本稿では,繰り返しSNNをトレーニングするための新しいフレームワークを提案する。
DNN内の学習時系列モデルにおいて、リカレントニューラルネットワーク(RNN)がもたらす利点に類似して、長い短期記憶(LSTM)ネットワークに基づくSNNを開発する。
LSTMスパイクネットワークはスパイクのタイミングと時間的依存性を学習する。
また,LSTMに基づくSNNにおいて,エラーのバックプロパゲーションを行う手法を開発した。
LSTMベースのSNN内でのバックプロパゲーションのためのアーキテクチャと手法により、従来のLSTMに匹敵する長期的な依存関係を学習することができる。
関連論文リスト
- ESL-SNNs: An Evolutionary Structure Learning Strategy for Spiking Neural
Networks [20.33499499020257]
スパイキングニューラルネットワーク(SNN)は、推論プロセス中に消費電力とイベント駆動特性に顕著な優位性を示した。
スパースSNNトレーニングをスクラッチから実装するために,ESL-SNNと呼ばれるSNNのための効率的な進化的構造学習フレームワークを提案する。
本研究は,SNNをスクラッチから切り離し,生物学的に妥当な進化機構で訓練するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-06-06T14:06:11Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Fluctuation-driven initialization for spiking neural network training [3.976291254896486]
スパイキングニューラルネットワーク(SNN)は、脳内の低出力でフォールトトレラントな情報処理を実現する。
我々は、脳内でよく見られるゆらぎ駆動型体制にインスパイアされたSNNの一般的な戦略を開発する。
論文 参考訳(メタデータ) (2022-06-21T09:48:49Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Deep Learning in Spiking Phasor Neural Networks [0.6767885381740952]
スパイキングニューラルネットワーク(SNN)は、低レイテンシで低消費電力のニューロモルフィックハードウェアで使用するために、ディープラーニングコミュニティの注目を集めている。
本稿では,Spking Phasor Neural Networks(SPNN)を紹介する。
SPNNは複雑に評価されたディープニューラルネットワーク(DNN)に基づいており、スパイク時間による位相を表す。
論文 参考訳(メタデータ) (2022-04-01T15:06:15Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - A Time Encoding approach to training Spiking Neural Networks [3.655021726150368]
スパイキングニューラルネットワーク(SNN)の人気が高まっている。
本稿では、時間符号化理論を用いて、SNNの理解と学習を支援する余分なツールを提供する。
論文 参考訳(メタデータ) (2021-10-13T14:07:11Z) - Optimal Conversion of Conventional Artificial Neural Networks to Spiking
Neural Networks [0.0]
spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。
しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。
提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
論文 参考訳(メタデータ) (2021-02-28T12:04:22Z) - Deep Time Delay Neural Network for Speech Enhancement with Full Data
Learning [60.20150317299749]
本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。
トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
論文 参考訳(メタデータ) (2020-11-11T06:32:37Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳(メタデータ) (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。