論文の概要: Long Short-Term Memory Spiking Networks and Their Applications

• arxiv url: http://arxiv.org/abs/2007.04779v1
• Date: Thu, 9 Jul 2020 13:22:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 03:12:49.283771
• Title: Long Short-Term Memory Spiking Networks and Their Applications
• Title（参考訳）: 短期記憶スパイキングネットワークとその応用
• Authors: Ali Lotfi Rezaabad and Sriram Vishwanath
• Abstract要約: 繰り返しスパイクニューラルネットワーク(SNN)のトレーニングのための新しいフレームワークを提案する。 LSTMスパイクネットワークはスパイクのタイミングと時間的依存性を学習する。 また,LSTMをベースとしたSNN内でエラーのバックプロパゲーションを行う手法を開発した。
• 参考スコア（独自算出の注目度）: 10.071615423169902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in event-based neuromorphic systems have resulted in significant interest in the use and development of spiking neural networks (SNNs). However, the non-differentiable nature of spiking neurons makes SNNs incompatible with conventional backpropagation techniques. In spite of the significant progress made in training conventional deep neural networks (DNNs), training methods for SNNs still remain relatively poorly understood. In this paper, we present a novel framework for training recurrent SNNs. Analogous to the benefits presented by recurrent neural networks (RNNs) in learning time series models within DNNs, we develop SNNs based on long short-term memory (LSTM) networks. We show that LSTM spiking networks learn the timing of the spikes and temporal dependencies. We also develop a methodology for error backpropagation within LSTM-based SNNs. The developed architecture and method for backpropagation within LSTM-based SNNs enable them to learn long-term dependencies with comparable results to conventional LSTMs.
• Abstract（参考訳）: 事象ベースのニューロモルフィックシステムの最近の進歩は、スパイキングニューラルネットワーク(SNN)の使用と開発に大きな関心を寄せている。 しかし、スパイキングニューロンの非分化性により、SNNは従来のバックプロパゲーション技術と相容れない。 従来のディープニューラルネットワーク(DNN)のトレーニングでは大きな進歩があったが、SNNのトレーニング方法はまだよく分かっていない。 本稿では,繰り返しSNNをトレーニングするための新しいフレームワークを提案する。 DNN内の学習時系列モデルにおいて、リカレントニューラルネットワーク(RNN)がもたらす利点に類似して、長い短期記憶(LSTM)ネットワークに基づくSNNを開発する。 LSTMスパイクネットワークはスパイクのタイミングと時間的依存性を学習する。 また,LSTMに基づくSNNにおいて,エラーのバックプロパゲーションを行う手法を開発した。 LSTMベースのSNN内でのバックプロパゲーションのためのアーキテクチャと手法により、従来のLSTMに匹敵する長期的な依存関係を学習することができる。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する 本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-05-06T09:58:54Z)
• Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
  スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。 SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。 本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:23:50Z)
• ESL-SNNs: An Evolutionary Structure Learning Strategy for Spiking Neural Networks [20.33499499020257]
  スパイキングニューラルネットワーク(SNN)は、推論プロセス中に消費電力とイベント駆動特性に顕著な優位性を示した。 スパースSNNトレーニングをスクラッチから実装するために,ESL-SNNと呼ばれるSNNのための効率的な進化的構造学習フレームワークを提案する。 本研究は,SNNをスクラッチから切り離し,生物学的に妥当な進化機構で訓練するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:06:11Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Fluctuation-driven initialization for spiking neural network training [3.976291254896486]
  スパイキングニューラルネットワーク(SNN)は、脳内の低出力でフォールトトレラントな情報処理を実現する。 我々は、脳内でよく見られるゆらぎ駆動型体制にインスパイアされたSNNの一般的な戦略を開発する。
  論文  参考訳（メタデータ） (2022-06-21T09:48:49Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Deep Learning in Spiking Phasor Neural Networks [0.6767885381740952]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシで低消費電力のニューロモルフィックハードウェアで使用するために、ディープラーニングコミュニティの注目を集めている。 本稿では,Spking Phasor Neural Networks(SPNN)を紹介する。 SPNNは複雑に評価されたディープニューラルネットワーク(DNN)に基づいており、スパイク時間による位相を表す。
  論文  参考訳（メタデータ） (2022-04-01T15:06:15Z)
• A Time Encoding approach to training Spiking Neural Networks [3.655021726150368]
  スパイキングニューラルネットワーク(SNN)の人気が高まっている。 本稿では、時間符号化理論を用いて、SNNの理解と学習を支援する余分なツールを提供する。
  論文  参考訳（メタデータ） (2021-10-13T14:07:11Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。