Fugu-MT 論文翻訳(概要): One Timestep is All You Need: Training Spiking Neural Networks with Ultra Low Latency

論文の概要: One Timestep is All You Need: Training Spiking Neural Networks with Ultra Low Latency

arxiv url: http://arxiv.org/abs/2110.05929v1
Date: Fri, 1 Oct 2021 22:54:59 GMT
ステータス: 処理完了
システム内更新日: 2021-10-17 15:36:30.711517
Title: One Timestep is All You Need: Training Spiking Neural Networks with Ultra Low Latency
Title（参考訳）: 1つの時間ステップ:超低レイテンシでスパイクニューラルネットワークを訓練する
Authors: Sayeed Shafayet Chowdhury, Nitin Rathi and Kaushik Roy
Abstract要約: スパイキングニューラルネットワーク(SNN)は、一般的に使用されるディープニューラルネットワーク(DNN)のエネルギー効率の良い代替品である高推論レイテンシは、ディープSNNのエッジデプロイメントに重大な障害となる。時間軸の単発推論を行うために,SNNの反復初期化・再訓練法を提案する。
参考スコア（独自算出の注目度）: 8.590196535871343
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Spiking Neural Networks (SNNs) are energy efficient alternatives to commonly used deep neural networks (DNNs). Through event-driven information processing, SNNs can reduce the expensive compute requirements of DNNs considerably, while achieving comparable performance. However, high inference latency is a significant hindrance to the edge deployment of deep SNNs. Computation over multiple timesteps not only increases latency as well as overall energy budget due to higher number of operations, but also incurs memory access overhead of fetching membrane potentials, both of which lessen the energy benefits of SNNs. To overcome this bottleneck and leverage the full potential of SNNs, we propose an Iterative Initialization and Retraining method for SNNs (IIR-SNN) to perform single shot inference in the temporal axis. The method starts with an SNN trained with T timesteps (T>1). Then at each stage of latency reduction, the network trained at previous stage with higher timestep is utilized as initialization for subsequent training with lower timestep. This acts as a compression method, as the network is gradually shrunk in the temporal domain. In this paper, we use direct input encoding and choose T=5, since as per literature, it is the minimum required latency to achieve satisfactory performance on ImageNet. The proposed scheme allows us to obtain SNNs with up to unit latency, requiring a single forward pass during inference. We achieve top-1 accuracy of 93.05%, 70.15% and 67.71% on CIFAR-10, CIFAR-100 and ImageNet, respectively using VGG16, with just 1 timestep. In addition, IIR-SNNs perform inference with 5-2500X reduced latency compared to other state-of-the-art SNNs, maintaining comparable or even better accuracy. Furthermore, in comparison with standard DNNs, the proposed IIR-SNNs provide25-33X higher energy efficiency, while being comparable to them in classification performance.
Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、一般的に使用されるディープニューラルネットワーク(DNN)のエネルギー効率の良い代替手段である。イベント駆動の情報処理により、SNNはDNNの高価な計算要求を大幅に削減し、同等のパフォーマンスを実現する。しかし、高い推論レイテンシは、ディープSNNのエッジ展開に重大な障害となる。複数の時間ステップでの計算によってレイテンシが増大するだけでなく、オペレーション数の増加による全体のエネルギー予算が増大するだけでなく、膜電位をフェッチするメモリアクセスのオーバーヘッドが発生し、snsのエネルギー効率が低下する。このボトルネックを克服し、SNNの潜在能力を最大限活用するために、時間軸での単発推論を行うために、SNNの反復初期化と再学習法を提案する。このメソッドは、TタイムステップでトレーニングされたSNN(T>1)から始まる。そして、遅延低減の各段階において、より高い時間ステップでトレーニングされた前段階のネットワークを、低時間ステップでトレーニングを行うための初期化として利用する。これは、ネットワークが時間領域で徐々に縮小するため、圧縮方法として機能する。本稿では、直接入力エンコーディングを用いてt=5を選択する。文献によれば、imagenetで十分な性能を達成するのに必要な遅延は最小である。提案手法により,単体待ち時間でSNNを得ることができ,推論中に1つの前方通過が必要となる。 vgg16を用いたcifar-10,cifar-100,imagenetでは,トップ1の精度が93.05%,70.15%,67.71%であった。さらに、IIR-SNNは、他の最先端のSNNと比較して5-2500倍のレイテンシで推論を行い、同等かそれ以上の精度を維持している。さらに、標準のDNNと比較して、提案したIIR-SNNは25-33倍のエネルギー効率を提供するが、分類性能は同等である。

関連論文リスト

Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文参考訳（メタデータ） (2024-09-19T06:52:34Z)
SEENN: Towards Temporal Spiking Early-Exit Neural Networks [26.405775809170308]
スパイキングニューラルネットワーク(SNN)は、最近、従来のニューラルネットワーク(ANN)の生物学的にもっともらしい代替品として人気が高まっている。本研究では,SNNにおける時間経過の微調整について検討する。時間ステップ数を動的に調整することにより、SEENNは推論中の平均時間ステップ数を著しく削減する。
論文参考訳（メタデータ） (2023-04-02T15:57:09Z)
SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文参考訳（メタデータ） (2022-06-19T16:52:56Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Optimized Potential Initialization for Low-latency Spiking Neural Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文参考訳（メタデータ） (2022-02-03T07:15:43Z)
Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴うそこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-12-22T18:47:45Z)
Spatio-Temporal Pruning and Quantization for Low-latency Spiking Neural Networks [6.011954485684313]
Spiking Neural Networks(SNN)は、従来のディープラーニング方法に代わる有望な選択肢です。しかし、SNNの大きな欠点は、高い推論遅延である。本稿では,SNNの空間的および時間的プルーニングを提案する。
論文参考訳（メタデータ） (2021-04-26T12:50:58Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文参考訳（メタデータ） (2020-06-03T15:55:53Z)
T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
論文参考訳（メタデータ） (2020-03-26T04:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。