論文の概要: Spatio-Temporal Pruning and Quantization for Low-latency Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2104.12528v2
• Date: Thu, 29 Apr 2021 00:15:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-30 11:04:57.745396
• Title: Spatio-Temporal Pruning and Quantization for Low-latency Spiking Neural Networks
• Title（参考訳）: 低遅延スパイクニューラルネットワークの時空間プルーニングと量子化
• Authors: Sayeed Shafayet Chowdhury, Isha Garg and Kaushik Roy
• Abstract要約: Spiking Neural Networks(SNN)は、従来のディープラーニング方法に代わる有望な選択肢です。 しかし、SNNの大きな欠点は、高い推論遅延である。 本稿では,SNNの空間的および時間的プルーニングを提案する。
• 参考スコア（独自算出の注目度）: 6.011954485684313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) are a promising alternative to traditional deep learning methods since they perform event-driven information processing. However, a major drawback of SNNs is high inference latency. The efficiency of SNNs could be enhanced using compression methods such as pruning and quantization. Notably, SNNs, unlike their non-spiking counterparts, consist of a temporal dimension, the compression of which can lead to latency reduction. In this paper, we propose spatial and temporal pruning of SNNs. First, structured spatial pruning is performed by determining the layer-wise significant dimensions using principal component analysis of the average accumulated membrane potential of the neurons. This step leads to 10-14X model compression. Additionally, it enables inference with lower latency and decreases the spike count per inference. To further reduce latency, temporal pruning is performed by gradually reducing the timesteps while training. The networks are trained using surrogate gradient descent based backpropagation and we validate the results on CIFAR10 and CIFAR100, using VGG architectures. The spatiotemporally pruned SNNs achieve 89.04% and 66.4% accuracy on CIFAR10 and CIFAR100, respectively, while performing inference with 3-30X reduced latency compared to state-of-the-art SNNs. Moreover, they require 8-14X lesser compute energy compared to their unpruned standard deep learning counterparts. The energy numbers are obtained by multiplying the number of operations with energy per operation. These SNNs also provide 1-4% higher robustness against Gaussian noise corrupted inputs. Furthermore, we perform weight quantization and find that performance remains reasonably stable up to 5-bit quantization.
• Abstract（参考訳）: イベント駆動情報処理を実行するため、スパイキングニューラルネットワーク(SNN)は従来のディープラーニング手法に代わる有望な手段である。 しかし、SNNの大きな欠点は、高い推論遅延である。 SNNの効率はプルーニングや量子化といった圧縮手法によって向上することができた。 特に、SNNは、スポーキング以外のものと異なり、時間次元から成り、圧縮によって遅延が減少する可能性がある。 本稿では,SNNの空間的および時間的プルーニングを提案する。 第1に、ニューロンの平均蓄積膜電位の主成分分析を用いて、層別有意次元を決定することにより、構造化空間プラニングを行う。 このステップは10-14Xモデル圧縮につながる。 さらに、低レイテンシで推論が可能で、推論当たりのスパイク数を削減できる。 さらにレイテンシを低減し、トレーニング中の時間ステップを徐々に削減して、時間的プルーニングを行う。 VGG アーキテクチャを用いて,CIFAR10 と CIFAR100 のバックプロパゲーションを用いてネットワークをトレーニングし,その結果を検証した。 CIFAR10 と CIFAR100 でそれぞれ89.04% と66.4% の精度を達成し、最先端の SNN と比較して3-30倍のレイテンシで推論を行う。 さらに、通常のディープラーニングに比べて8～14倍の計算エネルギーを必要とする。 エネルギー数は、演算毎のエネルギーで演算数を乗算することで得られる。 これらのSNNはまた、ガウスノイズ劣化入力に対して1-4%高いロバスト性を提供する。 さらに,重み量子化を行い,5ビット量子化まで性能が安定であることを確認した。

関連論文リスト

• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Shrinking Your TimeStep: Towards Low-Latency Neuromorphic Object Recognition with Spiking Neural Network [5.174808367448261]
  スパイキングニューラルネットワーク(SNN)を用いたニューロモーフィック物体認識は、低消費電力ニューロモーフィックコンピューティングの基盤となっている。 既存のSNNは、ニューロモルフィックオブジェクトを認識するために10から40回以上のタイムステップを利用して、かなりの遅延に悩まされている。 本研究では,Shrinking SNN(SSNN)を提案する。
  論文  参考訳（メタデータ） (2024-01-02T02:05:05Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Direct Training via Backpropagation for Ultra-low Latency Spiking Neural Networks with Multi-threshold [3.286515597773624]
  スパイキングニューラルネットワーク(SNN)は、時間的情報を活用することができ、エネルギー効率の性質を持つ。 マルチスレッドモデルを用いた超低レイテンシ(1-2タイムスレッショルド)SNNのためのバックプロパゲーション(BP)に基づく新しいトレーニング手法を提案する。 提案手法は, MNIST, FashionMNIST, CIFAR10の平均精度が99.56%, 93.08%, 87.90%であり, それぞれ2段階のみである。
  論文  参考訳（メタデータ） (2021-11-25T07:04:28Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• One Timestep is All You Need: Training Spiking Neural Networks with Ultra Low Latency [8.590196535871343]
  スパイキングニューラルネットワーク(SNN)は、一般的に使用されるディープニューラルネットワーク(DNN)のエネルギー効率の良い代替品である 高推論レイテンシは、ディープSNNのエッジデプロイメントに重大な障害となる。 時間軸の単発推論を行うために,SNNの反復初期化・再訓練法を提案する。
  論文  参考訳（メタデータ） (2021-10-01T22:54:59Z)
• Towards Low-Latency Energy-Efficient Deep SNNs via Attention-Guided Compression [12.37129078618206]
  ディープスパイクニューラルネットワーク(SNN)は、従来のディープラーニングフレームワークに代わる潜在的な選択肢として登場した。 ほとんどのSNNトレーニングフレームワークは、スパイクアクティビティの増加とエネルギー効率の低下につながる大きな推論遅延をもたらす。 本稿では, スパイク活性を低減した超高圧縮を実現する非定常SNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-07-16T18:23:36Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。