論文の概要: Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with
Dual-Phase Optimization
- arxiv url: http://arxiv.org/abs/2205.07473v1
- Date: Mon, 16 May 2022 06:53:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 18:06:45.241951
- Title: Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with
Dual-Phase Optimization
- Title(参考訳): 双相最適化による超低レイテンシANN-SNN変換の無損失化
- Authors: Ziming Wang, Shuang Lian, Yuhao Zhang, Xiaoxin Cui, Rui Yan and Huajin
Tang
- Abstract要約: 非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、より高いエネルギー効率を示す。
ディープSNNを実装するための一般的なアプローチは、ANNにおける効率的なトレーニングとSNNにおける効率的な推論を組み合わせたANN-SNN変換である。
本稿では,まず,SNNにおける負または過フロー残留膜電位の誤表現の根本原因を同定する。
- 参考スコア(独自算出の注目度): 25.609302638670446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural network (SNN) operating with asynchronous discrete events
shows higher energy efficiency. A popular approach to implement deep SNNs is
ANN-SNN conversion combining both efficient training in ANNs and efficient
inference in SNNs. However, the previous works mostly required thousands of
time steps to achieve lossless conversion. In this paper, we first identify the
underlying cause, i.e., misrepresentation of the negative or overflow residual
membrane potential in SNNs. Furthermore, we systematically analyze the
conversion error between SNNs and ANNs, and then decompose it into three folds:
quantization error, clipping error, and residual membrane potential
representation error. With such insights, we propose a dual-phase conversion
algorithm to minimize those errors. As a result, our model achieves SOTA in
both accuracy and accuracy-delay tradeoff with deep architectures (ResNet and
VGG net). Specifically, we report SOTA accuracy within 16$\times$ speedup
compared with the latest results. Meanwhile, lossless conversion is performed
with at least 2$\times$ faster reasoning performance.
- Abstract(参考訳): 非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、より高いエネルギー効率を示す。
ディープSNNを実装するための一般的なアプローチは、ANNにおける効率的なトレーニングとSNNにおける効率的な推論を組み合わせたANN-SNN変換である。
しかし、以前の作業では、ロスレス変換を達成するために数千の時間ステップが必要だった。
本稿では,まず,SNNにおける負または過フロー残留膜電位の誤表現の根本原因を同定する。
さらに,SNNとANN間の変換誤差を系統的に解析し,それを量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つに分解する。
そこで本研究では,これらの誤差を最小化する2相変換アルゴリズムを提案する。
その結果,本モデルは深層アーキテクチャ (ResNet と VGGnet) との精度・遅延トレードオフの両面でSOTAを実現する。
具体的には、最新の結果と比較して、SOTAの精度を16$\times$ speedupで報告する。
一方、損失のない変換は少なくとも2$\times$高速な推論性能で実行される。
関連論文リスト
- Fast-SNN: Fast Spiking Neural Network by Converting Quantized ANN [38.18008827711246]
スパイキングニューラルネットワーク(SNN)は、計算とエネルギー効率の利点を示している。
離散スパイク関数のため、ディープSNNをトレーニングすることは依然として課題である。
本稿では低レイテンシで高い性能を実現する高速SNNを提案する。
論文 参考訳(メタデータ) (2023-05-31T14:04:41Z) - A Hybrid ANN-SNN Architecture for Low-Power and Low-Latency Visual
Perception [49.877675666360695]
Spiking Neural Networks(SNN)は、バイオインスパイアされたニューラルネットワークの一種で、エッジデバイスに低消費電力で低レイテンシな推論をもたらすことを約束する。
イベントベース2Dおよび3Dヒューマンポーズ推定の課題について,本手法では,ANNに比べて性能を4%低下させることなく,88%の消費電力を消費することを示した。
論文 参考訳(メタデータ) (2023-03-24T17:38:45Z) - Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。
ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。
本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
論文 参考訳(メタデータ) (2023-02-21T14:10:56Z) - Reducing ANN-SNN Conversion Error through Residual Membrane Potential [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は、低消費電力のユニークな特性とニューロモルフィックチップ上の高速コンピューティングにより、広く学術的な注目を集めている。
本稿では,不均一な誤差を詳細に解析し,それを4つのカテゴリに分割する。
本研究では,残膜電位に基づく最適化手法を提案する。
論文 参考訳(メタデータ) (2023-02-04T04:44:31Z) - SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking
Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。
本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。
実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文 参考訳(メタデータ) (2022-06-19T16:52:56Z) - Optimized Potential Initialization for Low-latency Spiking Neural
Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。
ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。
本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文 参考訳(メタデータ) (2022-02-03T07:15:43Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳(メタデータ) (2021-12-12T17:13:14Z) - Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep
Spiking Neural Networks [43.046402416604245]
Spiking Neural Networks(SNN)は、バイオインスパイアされたエネルギー効率の高いニューラルネットワークである。
本稿では,ANN-SNN変換を理論的に解析し,最適変換の十分な条件を導出する。
提案手法は, VGG-16, PreActResNet-18, およびより深い構造を用いて, ほぼ損失の少ない変換を実現する。
論文 参考訳(メタデータ) (2021-05-25T04:15:06Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳(メタデータ) (2021-02-17T18:59:28Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳(メタデータ) (2020-08-12T04:26:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。