論文の概要: SATA: Sparsity-Aware Training Accelerator for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2204.05422v3
- Date: Mon, 19 Dec 2022 18:07:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 08:04:35.225887
- Title: SATA: Sparsity-Aware Training Accelerator for Spiking Neural Networks
- Title（参考訳）: SATA: ニューラルネットワークをスパイクするための空間認識トレーニングアクセラレータ
- Authors: Ruokai Yin, Abhishek Moitra, Abhiroop Bhattacharjee, Youngeun Kim,
Priyadarshini Panda
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。
SATA(Sparsity-Aware Training Accelerator)は,SNNのためのBPTTベースのトレーニングアクセラレータである。
スパーシティを利用することで、SATAはスパーシティを使わずに計算エネルギー効率を5.58倍に向上させる。
- 参考スコア（独自算出の注目度）: 4.44525458129903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) have gained huge attention as a potential
energy-efficient alternative to conventional Artificial Neural Networks (ANNs)
due to their inherent high-sparsity activation. Recently, SNNs with
backpropagation through time (BPTT) have achieved a higher accuracy result on
image recognition tasks than other SNN training algorithms. Despite the success
from the algorithm perspective, prior works neglect the evaluation of the
hardware energy overheads of BPTT due to the lack of a hardware evaluation
platform for this SNN training algorithm. Moreover, although SNNs have long
been seen as an energy-efficient counterpart of ANNs, a quantitative comparison
between the training cost of SNNs and ANNs is missing. To address the
aforementioned issues, in this work, we introduce SATA (Sparsity-Aware Training
Accelerator), a BPTT-based training accelerator for SNNs. The proposed SATA
provides a simple and re-configurable systolic-based accelerator architecture,
which makes it easy to analyze the training energy for BPTT-based SNN training
algorithms. By utilizing the sparsity, SATA increases its computation energy
efficiency by $5.58 \times$ compared to the one without using sparsity. Based
on SATA, we show quantitative analyses of the energy efficiency of SNN training
and compare the training cost of SNNs and ANNs. The results show that, on
Eyeriss-like systolic-based architecture, SNNs consume $1.27\times$ more total
energy with sparsities when compared to ANNs. We find that such high training
energy cost is from time-repetitive convolution operations and data movements
during backpropagation. Moreover, to propel the future SNN training algorithm
design, we provide several observations on energy efficiency for different
SNN-specific training parameters and propose an energy estimation framework for
SNN training. Code for our framework is made publicly available.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替品として注目されている。
近年,時間的バックプロパゲーション(BPTT)を持つSNNは,他のSNNトレーニングアルゴリズムよりも高い精度で画像認識タスクを達成している。
アルゴリズムの観点からは成功したが、このSNNトレーニングアルゴリズムのハードウェア評価プラットフォームが欠如しているため、先行研究はBPTTのハードウェアエネルギーオーバーヘッドの評価を無視した。
さらに、SNNは長い間、エネルギー効率のよいANNとは見なされてきたが、SNNとANNのトレーニングコストの定量的比較は欠落している。
上記の課題に対処するため,本稿では,BPTTベースのSNNトレーニングアクセラレータであるSATA(Sparsity-Aware Training Accelerator)を紹介する。
提案したSATAは、BPTTベースのSNNトレーニングアルゴリズムのトレーニングエネルギーを簡易かつ再構成可能なサイストリックベースのアクセラレータアーキテクチャを提供する。
スパーシティを利用することで、SATAはスパーシティを使わずに計算エネルギー効率を5.58ドルに向上させる。
SATAに基づいて,SNNトレーニングのエネルギー効率を定量的に分析し,SNNとANNのトレーニングコストを比較した。
結果は、Eyerissのようなシストリクスベースのアーキテクチャでは、SNNはANNと比較して、余剰エネルギーで1.27\times$以上のエネルギーを消費していることを示している。
このような高い訓練エネルギーコストは、時間反復畳み込み操作とバックプロパゲーション中のデータ移動によるものである。
さらに,将来のSNNトレーニングアルゴリズムの設計を促進するために,異なるSNN固有のトレーニングパラメータに対するエネルギー効率に関するいくつかの観測結果を提供し,SNNトレーニングのためのエネルギー推定フレームワークを提案する。
私たちのフレームワークのコードは公開されています。
関連論文リスト
- Training-free Conversion of Pretrained ANNs to SNNs for Low-Power and High-Performance Applications [23.502136316777058]
人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場した
SNNの既存の教師付き学習アルゴリズムは、ANNのアルゴリズムよりもはるかに多くのメモリと時間を必要とする。
提案手法は,事前学習したANNモデルを,追加訓練を伴わずに,高性能なSNNに変換する。
論文 参考訳（メタデータ） (2024-09-05T09:14:44Z) - When Bio-Inspired Computing meets Deep Learning: Low-Latency, Accurate,
& Energy-Efficient Spiking Neural Networks from Artificial Neural Networks [22.721987637571306]
Spiking Neural Networks (SNN) は畳み込みニューラルネットワーク (CNN) に匹敵する精度を示している
ANN-to-SNN変換は、最近、複雑な画像認識タスクにおける最先端(SOTA)テスト精度に近いディープSNNの開発において、大きな注目を集めている。
提案手法は,SOTA変換手法で必要となる時間ステップを指数的に減少させる新しいANN-to-SNN変換フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-12T00:10:45Z) - Is Conventional SNN Really Efficient? A Perspective from Network
Quantization [7.04833025737147]
スパイキングニューラルネットワーク(SNN)はその高エネルギー効率と膨大なポテンシャルで広く称賛されている。
しかし、SNNと量子化ニューラルネットワーク(ANN)を批判的に対比し、関連付ける包括的な研究はいまだに残っていない。
本稿では、SNNにおける時間ステップとアクティベーション値の量子化ビット幅が類似表現であることを示す統一的な視点を紹介する。
論文 参考訳（メタデータ） (2023-11-17T09:48:22Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳（メタデータ） (2023-10-23T14:26:16Z) - Are SNNs Truly Energy-efficient? $-$ A Hardware Perspective [7.539212567508529]
スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率のよい機械学習能力に注目を集めている。
本研究では,SATAとSpikeSimという,大規模SNN推論のための2つのハードウェアベンチマークプラットフォームについて検討する。
論文 参考訳（メタデータ） (2023-09-06T22:23:22Z) - LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient
Training in Deep Spiking Neural Networks [7.0691139514420005]
スパイキングニューラルネットワーク(SNN)は、事象駆動機構のため、生物学的に現実的で、低消費電力で現実的に有望である。
トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。
レイヤワイドANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークが提案されている。
論文 参考訳（メタデータ） (2023-04-17T03:49:35Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking
Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。
本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。
実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文 参考訳（メタデータ） (2022-06-19T16:52:56Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。