論文の概要: Direct Training via Backpropagation for Ultra-low Latency Spiking Neural
Networks with Multi-threshold
- arxiv url: http://arxiv.org/abs/2112.07426v1
- Date: Thu, 25 Nov 2021 07:04:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-19 12:54:24.615548
- Title: Direct Training via Backpropagation for Ultra-low Latency Spiking Neural
Networks with Multi-threshold
- Title（参考訳）: マルチスレッショルドを用いた超低レイテンシスパイクニューラルネットワークのバックプロパゲーションによる直接トレーニング
- Authors: Changqing Xu, Yi Liu, and Yintang Yang
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、時間的情報を活用することができ、エネルギー効率の性質を持つ。
マルチスレッドモデルを用いた超低レイテンシ(1-2タイムスレッショルド)SNNのためのバックプロパゲーション(BP)に基づく新しいトレーニング手法を提案する。
提案手法は, MNIST, FashionMNIST, CIFAR10の平均精度が99.56%, 93.08%, 87.90%であり, それぞれ2段階のみである。
- 参考スコア（独自算出の注目度）: 3.286515597773624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) can utilize spatio-temporal information and
have a nature of energy efficiency which is a good alternative to deep neural
networks(DNNs). The event-driven information processing makes SNNs can reduce
the expensive computation of DNNs and save a lot of energy consumption.
However, high training and inference latency is a limitation of the development
of deeper SNNs. SNNs usually need tens or even hundreds of time steps during
the training and inference process which causes not only the increase of
latency but also the waste of energy consumption. To overcome this problem, we
proposed a novel training method based on backpropagation (BP) for ultra-low
latency(1-2 time steps) SNN with multi-threshold. In order to increase the
information capacity of each spike, we introduce the multi-threshold Leaky
Integrate and Fired (LIF) model. In our proposed training method, we proposed
three approximated derivative for spike activity to solve the problem of the
non-differentiable issue which cause difficulties for direct training SNNs
based on BP. The experimental results show that our proposed method achieves an
average accuracy of 99.56%, 93.08%, and 87.90% on MNIST, FashionMNIST, and
CIFAR10, respectively with only 2 time steps. For the CIFAR10 dataset, our
proposed method achieve 1.12% accuracy improvement over the previously reported
direct trained SNNs with fewer time steps.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は時空間情報を利用することができ、ディープニューラルネットワーク(DNN)の優れた代替品であるエネルギー効率の性質を持つ。
イベント駆動の情報処理により、SNNはDNNの高価な計算を削減し、多くのエネルギー消費を節約できる。
しかし、高いトレーニングと推論レイテンシは、より深いSNNの開発の限界である。
SNNは通常、トレーニングと推論プロセス中に数十ないし数百のタイムステップを必要とし、遅延の増加だけでなく、エネルギー消費の無駄も生じる。
そこで我々は,超低レイテンシ(1-2時間ステップ)SNNにおけるバックプロパゲーション(BP)に基づく新しいトレーニング手法を提案する。
各スパイクの情報容量を増やすために,マルチスレッドのLeaky Integrate and Fired(LIF)モデルを導入する。
提案手法では, BPに基づくSNNの直接訓練に困難をもたらす非微分不可能な問題を解くために, スパイク活動の3つの近似導関数を提案した。
実験の結果, 提案手法は, mnist, fashionmnist, cifar10において, 平均99.56%, 93.08%, 87.90%の精度をそれぞれ2つの時間ステップで達成できることがわかった。
CIFAR10データセットに対して,提案手法は従来報告した直接訓練SNNよりも1.12%の精度向上を実現した。
関連論文リスト
- SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - A noise based novel strategy for faster SNN training [0.0]
スパイキングニューラルネットワーク(SNN)は、消費電力の低さと強力なバイオプロファイザビリティによって注目を集めている。
人工知能ニューラルネットワーク(ANN)-SNN変換とスパイクベースのバックプロパゲーション(BP)の2つの主要な手法には、それぞれ長所と短所がある。
本稿では,2つの手法の利点を組み合わせた新しいSNNトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-11-10T09:59:04Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳（メタデータ） (2021-12-12T17:13:14Z) - One Timestep is All You Need: Training Spiking Neural Networks with
Ultra Low Latency [8.590196535871343]
スパイキングニューラルネットワーク(SNN)は、一般的に使用されるディープニューラルネットワーク(DNN)のエネルギー効率の良い代替品である
高推論レイテンシは、ディープSNNのエッジデプロイメントに重大な障害となる。
時間軸の単発推論を行うために,SNNの反復初期化・再訓練法を提案する。
論文 参考訳（メタデータ） (2021-10-01T22:54:59Z) - Spatio-Temporal Pruning and Quantization for Low-latency Spiking Neural
Networks [6.011954485684313]
Spiking Neural Networks(SNN)は、従来のディープラーニング方法に代わる有望な選択肢です。
しかし、SNNの大きな欠点は、高い推論遅延である。
本稿では,SNNの空間的および時間的プルーニングを提案する。
論文 参考訳（メタデータ） (2021-04-26T12:50:58Z) - Deep Time Delay Neural Network for Speech Enhancement with Full Data
Learning [60.20150317299749]
本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。
トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
論文 参考訳（メタデータ） (2020-11-11T06:32:37Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike
Timing Dependent Backpropagation [10.972663738092063]
Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する
本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。
我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
論文 参考訳（メタデータ） (2020-05-04T19:30:43Z) - T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。
提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
論文 参考訳（メタデータ） (2020-03-26T04:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。