論文の概要: A Spike in Performance: Training Hybrid-Spiking Neural Networks with
Quantized Activation Functions
- arxiv url: http://arxiv.org/abs/2002.03553v2
- Date: Mon, 1 Mar 2021 22:02:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 08:18:48.291910
- Title: A Spike in Performance: Training Hybrid-Spiking Neural Networks with
Quantized Activation Functions
- Title(参考訳): 性能のスパイク:量子化活性化関数を用いたハイブリッドスポーキングニューラルネットワークのトレーニング
- Authors: Aaron R. Voelker and Daniel Rasmussen and Chris Eliasmith
- Abstract要約: Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。
我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
- 参考スコア(独自算出の注目度): 6.574517227976925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The machine learning community has become increasingly interested in the
energy efficiency of neural networks. The Spiking Neural Network (SNN) is a
promising approach to energy-efficient computing, since its activation levels
are quantized into temporally sparse, one-bit values (i.e., "spike" events),
which additionally converts the sum over weight-activity products into a simple
addition of weights (one weight for each spike). However, the goal of
maintaining state-of-the-art (SotA) accuracy when converting a non-spiking
network into an SNN has remained an elusive challenge, primarily due to spikes
having only a single bit of precision. Adopting tools from signal processing,
we cast neural activation functions as quantizers with temporally-diffused
error, and then train networks while smoothly interpolating between the
non-spiking and spiking regimes. We apply this technique to the Legendre Memory
Unit (LMU) to obtain the first known example of a hybrid SNN outperforming SotA
recurrent architectures -- including the LSTM, GRU, and NRU -- in accuracy,
while reducing activities to at most 3.74 bits on average with 1.26 significant
bits multiplying each weight. We discuss how these methods can significantly
improve the energy efficiency of neural networks.
- Abstract(参考訳): 機械学習コミュニティは、ニューラルネットワークのエネルギー効率に対する関心がますます高まっている。
スパイクニューラルネットワーク(snn)は、その活性化レベルが時間的にスパースな1ビットの値(すなわち「スパイク」イベント)に量子化され、重み付き製品に対する和を単純な重み付け(スパイクごとに1つの重み付け)に変換するので、エネルギー効率の高いコンピューティングへの有望なアプローチである。
しかし、非スパイキングネットワークをSNNに変換する際の最先端(SotA)の精度を維持するという目標は、主に1ビットの精度しか持たないスパイクのため、明らかに困難な課題のままである。
信号処理のツールを応用し、時間的に拡散した誤差を持つ量子化器としてニューラルアクティベーション機能を投入し、非スパイクとスパイクの仕組みをスムーズに補間しながらネットワークを訓練した。
本稿では,LSTM,GRU,NRUを含むSNNの繰り返しアーキテクチャを,平均3.74ビット,各重みを1.26ビットに減らしながら,SNNがStAの繰り返しアーキテクチャを高速化する最初の例を,レジェンダメモリユニット(LMU)に適用する。
ニューラルネットワークのエネルギー効率を大幅に向上させる方法について論じる。
関連論文リスト
- OR Residual Connection Achieving Comparable Accuracy to ADD Residual
Connection in Deep Residual Spiking Neural Networks [12.434147384452379]
スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。
調査では,深部スパイクニューラルネットワークの代表であるSEW-ResNetが,非イベント駆動の操作を取り入れていることを確認した。
高量子化に起因するエネルギー損失を相殺するために、アーキテクチャにORRC(OR Residual connection)を導入する。
論文 参考訳(メタデータ) (2023-11-11T13:36:27Z) - Low Precision Quantization-aware Training in Spiking Neural Networks
with Differentiable Quantization Function [0.5046831208137847]
この研究は、量子化されたニューラルネットワークの最近の進歩とスパイクニューラルネットワークのギャップを埋めることを目的としている。
これは、シグモイド関数の線形結合として表される量子化関数の性能に関する広範な研究を示す。
提案した量子化関数は、4つの人気のあるベンチマーク上での最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-05-30T09:42:05Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - The Hardware Impact of Quantization and Pruning for Weights in Spiking
Neural Networks [0.368986335765876]
パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。
本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。
本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
論文 参考訳(メタデータ) (2023-02-08T16:25:20Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
論文 参考訳(メタデータ) (2022-10-31T16:13:15Z) - Energy Efficient Hardware Acceleration of Neural Networks with
Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文 参考訳(メタデータ) (2022-09-30T06:33:40Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳(メタデータ) (2022-07-04T13:25:49Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳(メタデータ) (2021-04-29T05:50:54Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。