論文の概要: DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization
in Deep Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2008.03658v3
- Date: Wed, 2 Dec 2020 02:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 04:00:54.570090
- Title: DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization
in Deep Spiking Neural Networks
- Title（参考訳）: DIET-SNN:ディープスパイクニューラルネットワークにおける漏れと閾値最適化による直接入力符号化
- Authors: Nitin Rathi, Kaushik Roy
- Abstract要約: DIET-SNNは、膜漏れと発射閾値を最適化するために勾配降下で訓練された低深さスパイクネットワークである。
我々は,VGGおよびResNetアーキテクチャ上のCIFARおよびImageNetデータセットから画像分類タスクのDIET-SNNを評価する。
我々は、ImageNetデータセット上の5つのタイムステップ(推論レイテンシ)でトップ1の精度を69%達成し、同等の標準ANNよりも12倍少ない計算エネルギーを実現した。
- 参考スコア（独自算出の注目度）: 8.746046482977434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bio-inspired spiking neural networks (SNNs), operating with asynchronous
binary signals (or spikes) distributed over time, can potentially lead to
greater computational efficiency on event-driven hardware. The state-of-the-art
SNNs suffer from high inference latency, resulting from inefficient input
encoding, and sub-optimal settings of the neuron parameters (firing threshold,
and membrane leak). We propose DIET-SNN, a low-latency deep spiking network
that is trained with gradient descent to optimize the membrane leak and the
firing threshold along with other network parameters (weights). The membrane
leak and threshold for each layer of the SNN are optimized with end-to-end
backpropagation to achieve competitive accuracy at reduced latency. The analog
pixel values of an image are directly applied to the input layer of DIET-SNN
without the need to convert to spike-train. The first convolutional layer is
trained to convert inputs into spikes where leaky-integrate-and-fire (LIF)
neurons integrate the weighted inputs and generate an output spike when the
membrane potential crosses the trained firing threshold. The trained membrane
leak controls the flow of input information and attenuates irrelevant inputs to
increase the activation sparsity in the convolutional and dense layers of the
network. The reduced latency combined with high activation sparsity provides
large improvements in computational efficiency. We evaluate DIET-SNN on image
classification tasks from CIFAR and ImageNet datasets on VGG and ResNet
architectures. We achieve top-1 accuracy of 69% with 5 timesteps (inference
latency) on the ImageNet dataset with 12x less compute energy than an
equivalent standard ANN. Additionally, DIET-SNN performs 20-500x faster
inference compared to other state-of-the-art SNN models.
- Abstract（参考訳）: バイオインスパイクスパイクニューラルネットワーク(snn)は、時間とともに分散する非同期バイナリ信号(あるいはスパイク)で動作し、イベント駆動ハードウェアでの計算効率が向上する可能性がある。
最先端のSNNは、非効率な入力エンコーディングとニューロンパラメータ(ファイリングしきい値、膜リーク)の最適化設定によって、高い推論遅延に悩まされる。
本研究では,低遅延深層スパイキングネットワークであるdiet-snnを提案し,勾配降下で学習し,他のネットワークパラメータ(重み付け)とともに膜漏出と発火閾値を最適化する。
snnの各層に対する膜漏れと閾値をエンドツーエンドのバックプロパゲーションで最適化し、レイテンシの低減で競合精度を達成する。
画像のアナログ画素値は、スパイクトレインに変換することなく、DIET-SNNの入力層に直接適用される。
第1の畳み込み層は、入力をスパイクに変換し、重み付け入力を統合し、膜電位が訓練された発射閾値を超えたときに出力スパイクを生成する。
トレーニングされた膜リークは、入力情報のフローを制御し、無関係な入力を減衰させ、ネットワークの畳み込み層と密集層の活性化空間を増大させる。
レイテンシの削減と高いアクティベーションスパーシティの組み合わせは、計算効率に大きな改善をもたらす。
我々は,VGGおよびResNetアーキテクチャ上のCIFARおよびImageNetデータセットから画像分類タスクのDIET-SNNを評価する。
我々は、ImageNetデータセット上の5つのタイムステップ(推論レイテンシ)でトップ1の精度を69%達成し、同等の標準ANNよりも12倍少ない計算エネルギーを実現した。
さらに、DIET-SNNは他の最先端SNNモデルと比較して20-500倍高速な推論を行う。
関連論文リスト
- Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Reducing ANN-SNN Conversion Error through Residual Membrane Potential [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は、低消費電力のユニークな特性とニューロモルフィックチップ上の高速コンピューティングにより、広く学術的な注目を集めている。
本稿では,不均一な誤差を詳細に解析し,それを4つのカテゴリに分割する。
本研究では,残膜電位に基づく最適化手法を提案する。
論文 参考訳（メタデータ） (2023-02-04T04:44:31Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Optimized Potential Initialization for Low-latency Spiking Neural
Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。
ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。
本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文 参考訳（メタデータ） (2022-02-03T07:15:43Z) - Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking
Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。
SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う
そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-22T18:47:45Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike
Hybrid Input Encoding [5.725845886457027]
スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。
SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。
本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-26T06:16:40Z) - Low-Precision Training in Logarithmic Number System using Multiplicative
Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。
エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。
対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文 参考訳（メタデータ） (2021-06-26T00:32:17Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike
Timing Dependent Backpropagation [10.972663738092063]
Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する
本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。
我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
論文 参考訳（メタデータ） (2020-05-04T19:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。