論文の概要: Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding

• arxiv url: http://arxiv.org/abs/2107.12374v1
• Date: Mon, 26 Jul 2021 06:16:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-20 21:21:24.513222
• Title: Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding
• Title（参考訳）: シングルスパイクハイブリッド入力符号化によるエネルギー効率の良いディープスパイクニューラルネットワークの訓練
• Authors: Gourav Datta, Souvik Kundu, Peter A. Beerel
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。 SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。 本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.725845886457027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) have emerged as an attractive alternative to traditional deep learning frameworks, since they provide higher computational efficiency in event driven neuromorphic hardware. However, the state-of-the-art (SOTA) SNNs suffer from high inference latency, resulting from inefficient input encoding and training techniques. The most widely used input coding schemes, such as Poisson based rate-coding, do not leverage the temporal learning capabilities of SNNs. This paper presents a training framework for low-latency energy-efficient SNNs that uses a hybrid encoding scheme at the input layer in which the analog pixel values of an image are directly applied during the first timestep and a novel variant of spike temporal coding is used during subsequent timesteps. In particular, neurons in every hidden layer are restricted to fire at most once per image which increases activation sparsity. To train these hybrid-encoded SNNs, we propose a variant of the gradient descent based spike timing dependent back propagation (STDB) mechanism using a novel cross entropy loss function based on both the output neurons' spike time and membrane potential. The resulting SNNs have reduced latency and high activation sparsity, yielding significant improvements in computational efficiency. In particular, we evaluate our proposed training scheme on image classification tasks from CIFAR-10 and CIFAR-100 datasets on several VGG architectures. We achieve top-1 accuracy of $66.46$\% with $5$ timesteps on the CIFAR-100 dataset with ${\sim}125\times$ less compute energy than an equivalent standard ANN. Additionally, our proposed SNN performs $5$-$300\times$ faster inference compared to other state-of-the-art rate or temporally coded SNN models.
• Abstract（参考訳）: イベント駆動型ニューロモーフィックハードウェアにおいて高い計算効率を提供するため、スパイキングニューラルネットワーク(SNN)は従来のディープラーニングフレームワークの魅力的な代替品として登場した。 しかし、SOTA(State-of-the-art)SNNは、非効率な入力符号化とトレーニング技術によって、高い推論遅延に悩まされる。 Poissonベースのレートコーディングのような最も広く使われている入力符号化方式は、SNNの時間的学習能力を利用していない。 本稿では,画像のアナログ画素値が第1の時間ステップで直接適用される入力層において,ハイブリッド符号化方式を用いた低遅延エネルギー効率snsのトレーニングフレームワークを提案する。 特に、隠蔽層内のニューロンは1枚当たり1回以上は発火に制限され、活性化間隔が増大する。 これらのハイブリッド符号化SNNを訓練するために、出力ニューロンのスパイク時間と膜電位の両方に基づいて、新しいクロスエントロピー損失関数を用いた勾配降下に基づくスパイクタイミング依存バック伝搬(STDB)機構の変種を提案する。 その結果、SNNはレイテンシと高いアクティベーション間隔を減らし、計算効率を大幅に改善した。 特に,複数のvggアーキテクチャ上のcifar-10およびcifar-100データセットから画像分類タスクのトレーニング手法を評価する。 cifar-100データセット上で,${\sim}125\times$ の計算エネルギーを標準の ann よりも少なくして,65.46$\% のtop-1精度を達成しています。 さらに、提案したSNNは、他の最先端のSNNモデルや時間的に符号化されたSNNモデルと比較して、より高速な推論を行う。

関連論文リスト

• Adaptive Spiking Neural Networks with Hybrid Coding [0.0]
  スパイテンポラルニューラルネットワーク(SNN)は、ニューラルネットワークよりもエネルギー効率が高く効果的なニューラルネットワークである 従来のSNNは、異なる時間ステップで入力データを処理する際に同じニューロンを使用し、時間情報を効果的に統合し活用する能力を制限する。 本稿では,学習に必要な時間を短縮するだけでなく,ネットワーク全体の性能を向上させるためのハイブリッド符号化手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T13:58:35Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• DCT-SNN: Using DCT to Distribute Spatial Information over Time for Learning Low-Latency Spiking Neural Networks [7.876001630578417]
  Spiking Neural Networks(SNN)は、従来のディープラーニングフレームワークに代わる有望な選択肢を提供する。 SNNは高い推論遅延に悩まされており、デプロイメントの大きなボトルネックとなっている。 本稿では、離散コサイン変換(DCT)を用いて、推論に必要な時間ステップ数を削減できるスケーラブルな時間ベースの符号化方式を提案する。
  論文  参考訳（メタデータ） (2020-10-05T05:55:34Z)
• DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks [8.746046482977434]
  DIET-SNNは、膜漏れと発射閾値を最適化するために勾配降下で訓練された低深さスパイクネットワークである。 我々は,VGGおよびResNetアーキテクチャ上のCIFARおよびImageNetデータセットから画像分類タスクのDIET-SNNを評価する。 我々は、ImageNetデータセット上の5つのタイムステップ(推論レイテンシ)でトップ1の精度を69%達成し、同等の標準ANNよりも12倍少ない計算エネルギーを実現した。
  論文  参考訳（メタデータ） (2020-08-09T05:07:17Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。