論文の概要: A Spike in Performance: Training Hybrid-Spiking Neural Networks with
Quantized Activation Functions
- arxiv url: http://arxiv.org/abs/2002.03553v2
- Date: Mon, 1 Mar 2021 22:02:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 08:18:48.291910
- Title: A Spike in Performance: Training Hybrid-Spiking Neural Networks with
Quantized Activation Functions
- Title（参考訳）: 性能のスパイク:量子化活性化関数を用いたハイブリッドスポーキングニューラルネットワークのトレーニング
- Authors: Aaron R. Voelker and Daniel Rasmussen and Chris Eliasmith
- Abstract要約: Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。
我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
- 参考スコア（独自算出の注目度）: 6.574517227976925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The machine learning community has become increasingly interested in the
energy efficiency of neural networks. The Spiking Neural Network (SNN) is a
promising approach to energy-efficient computing, since its activation levels
are quantized into temporally sparse, one-bit values (i.e., "spike" events),
which additionally converts the sum over weight-activity products into a simple
addition of weights (one weight for each spike). However, the goal of
maintaining state-of-the-art (SotA) accuracy when converting a non-spiking
network into an SNN has remained an elusive challenge, primarily due to spikes
having only a single bit of precision. Adopting tools from signal processing,
we cast neural activation functions as quantizers with temporally-diffused
error, and then train networks while smoothly interpolating between the
non-spiking and spiking regimes. We apply this technique to the Legendre Memory
Unit (LMU) to obtain the first known example of a hybrid SNN outperforming SotA
recurrent architectures -- including the LSTM, GRU, and NRU -- in accuracy,
while reducing activities to at most 3.74 bits on average with 1.26 significant
bits multiplying each weight. We discuss how these methods can significantly
improve the energy efficiency of neural networks.
- Abstract（参考訳）: 機械学習コミュニティは、ニューラルネットワークのエネルギー効率に対する関心がますます高まっている。
スパイクニューラルネットワーク(snn)は、その活性化レベルが時間的にスパースな1ビットの値(すなわち「スパイク」イベント)に量子化され、重み付き製品に対する和を単純な重み付け(スパイクごとに1つの重み付け)に変換するので、エネルギー効率の高いコンピューティングへの有望なアプローチである。
しかし、非スパイキングネットワークをSNNに変換する際の最先端(SotA)の精度を維持するという目標は、主に1ビットの精度しか持たないスパイクのため、明らかに困難な課題のままである。
信号処理のツールを応用し、時間的に拡散した誤差を持つ量子化器としてニューラルアクティベーション機能を投入し、非スパイクとスパイクの仕組みをスムーズに補間しながらネットワークを訓練した。
本稿では,LSTM,GRU,NRUを含むSNNの繰り返しアーキテクチャを,平均3.74ビット,各重みを1.26ビットに減らしながら,SNNがStAの繰り返しアーキテクチャを高速化する最初の例を,レジェンダメモリユニット(LMU)に適用する。
ニューラルネットワークのエネルギー効率を大幅に向上させる方法について論じる。
関連論文リスト
- Stepwise Weighted Spike Coding for Deep Spiking Neural Networks [7.524721345903027]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパイキング動作を模倣しようと試みている。
本稿では,スパイクにおける情報のエンコーディングを強化するために,SWS(Stepwise Weighted Spike)符号化方式を提案する。
このアプローチは、ニューラルネットワークの各ステップにおけるスパイクの重要性を重み付け、高い性能と低エネルギー消費を達成することでスパイクを圧縮する。
論文 参考訳（メタデータ） (2024-08-30T12:39:25Z) - SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。
ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。
次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
論文 参考訳（メタデータ） (2023-11-11T13:36:27Z) - Low Precision Quantization-aware Training in Spiking Neural Networks
with Differentiable Quantization Function [0.5046831208137847]
この研究は、量子化されたニューラルネットワークの最近の進歩とスパイクニューラルネットワークのギャップを埋めることを目的としている。
これは、シグモイド関数の線形結合として表される量子化関数の性能に関する広範な研究を示す。
提案した量子化関数は、4つの人気のあるベンチマーク上での最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-05-30T09:42:05Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
論文 参考訳（メタデータ） (2022-10-31T16:13:15Z) - Energy Efficient Hardware Acceleration of Neural Networks with
Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文 参考訳（メタデータ） (2022-09-30T06:33:40Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-04-29T05:50:54Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。