論文の概要: Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs
- arxiv url: http://arxiv.org/abs/2210.12613v1
- Date: Sun, 23 Oct 2022 04:10:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 17:01:59.478024
- Title: Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs
- Title（参考訳）: エネルギー効率・低遅延・高精度spiking lstmに向けて
- Authors: Gourav Datta and Haoqin Deng and Robert Aviles and Peter A. Beerel
- Abstract要約: Spiking Neural Networks(SNN)は、複雑なタスクのための魅力的なテンポラルコンピューティングパラダイムビジョンとして登場した。
そこで本研究では,新規な長期記憶ネットワーク(LSTM)の学習フレームワークを提案する。
rev-to-SNN変換フレームワーク、続いてSNNトレーニング。
我々は、時間的M、Google Speech Commands(GSC)データセット、異なるLSTMアーキテクチャ上のUCIスマートフォンなど、逐次学習タスクに関するフレームワークを評価した。
- 参考スコア（独自算出の注目度）: 1.7969777786551424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking Neural Networks (SNNs) have emerged as an attractive spatio-temporal
computing paradigm for complex vision tasks. However, most existing works yield
models that require many time steps and do not leverage the inherent temporal
dynamics of spiking neural networks, even for sequential tasks. Motivated by
this observation, we propose an \rev{optimized spiking long short-term memory
networks (LSTM) training framework that involves a novel ANN-to-SNN conversion
framework, followed by SNN training}. In particular, we propose novel
activation functions in the source LSTM architecture and judiciously select a
subset of them for conversion to integrate-and-fire (IF) activations with
optimal bias shifts. Additionally, we derive the leaky-integrate-and-fire (LIF)
activation functions converted from their non-spiking LSTM counterparts which
justifies the need to jointly optimize the weights, threshold, and leak
parameter. We also propose a pipelined parallel processing scheme which hides
the SNN time steps, significantly improving system latency, especially for long
sequences. The resulting SNNs have high activation sparsity and require only
accumulate operations (AC), in contrast to expensive multiply-and-accumulates
(MAC) needed for ANNs, except for the input layer when using direct encoding,
yielding significant improvements in energy efficiency. We evaluate our
framework on sequential learning tasks including temporal MNIST, Google Speech
Commands (GSC), and UCI Smartphone datasets on different LSTM architectures. We
obtain test accuracy of 94.75% with only 2 time steps with direct encoding on
the GSC dataset with 4.1x lower energy than an iso-architecture standard LSTM.
- Abstract（参考訳）: spiking neural networks (snns)は、複雑な視覚タスクのための魅力的な時空間コンピューティングパラダイムとして登場した。
しかし、既存の作品の多くは、多くの時間ステップを必要とするモデルを提供しており、シーケンシャルなタスクであっても、スパイキングニューラルネットワークの固有時間ダイナミクスを活用していない。
この観察に動機づけられ、新しいan-to-snn変換フレームワークを含む \rev{optimized spiking long short-term memory networks (lstm) トレーニングフレームワークを提案する。
特に、ソースLSTMアーキテクチャにおける新しいアクティベーション関数を提案し、そのサブセットを任意に選択し、最適なバイアスシフトを伴うIFアクティベーションに変換する。
さらに, 重量, しきい値, 漏れパラメータを協調的に最適化する必要性を正当化する非喫煙型LSTM関数から, LIF関数を変換した。
また、SNNの時間ステップを隠蔽し、特に長いシーケンスにおいてシステム遅延を大幅に改善するパイプライン並列処理方式を提案する。
結果として生じるSNNは、アクティベーションの幅が高く、ANNに必要な高価な乗算累積(MAC)とは対照的に、直接符号化する場合の入力層を除いて、蓄積操作(AC)のみを必要とする。
我々は、時間的MNIST、Google Speech Commands(GSC)、異なるLSTMアーキテクチャ上のUCIデータセットを含む逐次学習タスクに関するフレームワークを評価する。
我々は,iso-architecture 標準 lstm よりも 4.1 倍低いエネルギーで gsc データセット上で直接符号化する2つの時間ステップで 94.75% のテスト精度を得る。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - Unlocking the Power of LSTM for Long Term Time Series Forecasting [27.245021350821638]
本稿では, sLSTM 上に実装したP-sLSTM という単純なアルゴリズムを提案する。
これらの改良により、TSFにおけるsLSTMの性能が大幅に向上し、最先端の結果が得られた。
論文 参考訳（メタデータ） (2024-08-19T13:59:26Z) - Spiking Neural Networks with Dynamic Time Steps for Vision Transformers [10.118436208925413]
スパイキングニューラルネットワーク(SNN)は、複雑なタスクのための一般的な時間コンピューティングパラダイムのビジョンとして登場した。
トレーニング可能なスコアに応じて各ViTモジュールに時間ステップ数を動的に割り当てる新しいトレーニングフレームワークを提案する。
我々は、CIFAR10、CIFAR100、ImageNetなどの画像認識タスクにおいて、トレーニングフレームワークを評価し、その結果のSNNを異なるViTアーキテクチャで評価する。
論文 参考訳（メタデータ） (2023-11-28T03:30:43Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Image Classification using Sequence of Pixels [3.04585143845864]
本研究では,繰り返しニューラルネットワークを用いた逐次画像分類法の比較を行った。
本稿では,Long-Short-Term memory(LSTM)やBidirectional Long-Short-Term memory(BiLSTM)アーキテクチャに基づく手法について述べる。
論文 参考訳（メタデータ） (2022-09-23T09:42:44Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。
その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
論文 参考訳（メタデータ） (2020-12-03T08:32:01Z) - LIAF-Net: Leaky Integrate and Analog Fire Network for Lightweight and
Efficient Spatiotemporal Information Processing [16.446511505488633]
Deep Network LIAF-Net は LIF-SNN 上に構築されている。
一時的レイヤとして、LIAFは従来の人工知能ニューラルネットワーク(ANN)レイヤと共同で使用することもできる。
論文 参考訳（メタデータ） (2020-11-12T03:04:21Z) - Automatic Remaining Useful Life Estimation Framework with Embedded
Convolutional LSTM as the Backbone [5.927250637620123]
組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。
ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。
RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
論文 参考訳（メタデータ） (2020-08-10T08:34:20Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Object Tracking through Residual and Dense LSTMs [67.98948222599849]
LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。
DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。
ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
論文 参考訳（メタデータ） (2020-06-22T08:20:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。