論文の概要: Reducing ANN-SNN Conversion Error through Residual Membrane Potential
- arxiv url: http://arxiv.org/abs/2302.02091v1
- Date: Sat, 4 Feb 2023 04:44:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 20:24:57.006612
- Title: Reducing ANN-SNN Conversion Error through Residual Membrane Potential
- Title（参考訳）: 残留膜電位によるANN-SNN変換誤差の低減
- Authors: Zecheng Hao, Tong Bu, Jianhao Ding, Tiejun Huang, Zhaofei Yu
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、低消費電力のユニークな特性とニューロモルフィックチップ上の高速コンピューティングにより、広く学術的な注目を集めている。
本稿では,不均一な誤差を詳細に解析し,それを4つのカテゴリに分割する。
本研究では,残膜電位に基づく最適化手法を提案する。
- 参考スコア（独自算出の注目度）: 19.85338979292052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) have received extensive academic attention due
to the unique properties of low power consumption and high-speed computing on
neuromorphic chips. Among various training methods of SNNs, ANN-SNN conversion
has shown the equivalent level of performance as ANNs on large-scale datasets.
However, unevenness error, which refers to the deviation caused by different
temporal sequences of spike arrival on activation layers, has not been
effectively resolved and seriously suffers the performance of SNNs under the
condition of short time-steps. In this paper, we make a detailed analysis of
unevenness error and divide it into four categories. We point out that the case
of the ANN output being zero while the SNN output being larger than zero
accounts for the largest percentage. Based on this, we theoretically prove the
sufficient and necessary conditions of this case and propose an optimization
strategy based on residual membrane potential to reduce unevenness error. The
experimental results show that the proposed method achieves state-of-the-art
performance on CIFAR-10, CIFAR-100, and ImageNet datasets. For example, we
reach top-1 accuracy of 64.32\% on ImageNet with 10-steps. To the best of our
knowledge, this is the first time ANN-SNN conversion can simultaneously achieve
high accuracy and ultra-low-latency on the complex dataset. Code is available
at https://github.com/hzc1208/ANN2SNN\_SRP.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、低消費電力のユニークな特性とニューロモルフィックチップ上の高速コンピューティングにより、広く学術的な注目を集めている。
SNNの様々なトレーニング手法の中で、ANN-SNN変換は大規模データセット上でのANNと同等の性能を示す。
しかし,活性化層へのスパイク到来の時間的変化による偏差を示すむら誤差は効果的に解決されておらず,短時間のステップ条件下ではsnsの性能に深刻な打撃を与えている。
本稿では,凹凸誤差の詳細な解析を行い,これらを4つのカテゴリに分類する。
ANNの出力がゼロであるのに対し、SNNの出力は最大パーセントのゼロよりも大きいことを指摘している。
そこで本稿では,本事例の十分な条件と必要条件を理論的に証明し,残留膜電位に基づく最適化手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセット上での最先端性能を実現することがわかった。
例えば、ImageNetでトップ1の精度は10ステップで64.32\%に達する。
我々の知る限り、ANN-SNN変換は複雑なデータセット上で高い精度と超低レイテンシを同時に達成できるのはこれが初めてである。
コードはhttps://github.com/hzc1208/ANN2SNN\_SRPで入手できる。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - Fast-SNN: Fast Spiking Neural Network by Converting Quantized ANN [38.18008827711246]
スパイキングニューラルネットワーク(SNN)は、計算とエネルギー効率の利点を示している。
離散スパイク関数のため、ディープSNNをトレーニングすることは依然として課題である。
本稿では低レイテンシで高い性能を実現する高速SNNを提案する。
論文 参考訳（メタデータ） (2023-05-31T14:04:41Z) - Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。
ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。
本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
論文 参考訳（メタデータ） (2023-02-21T14:10:56Z) - SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking
Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。
本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。
実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文 参考訳（メタデータ） (2022-06-19T16:52:56Z) - Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization [30.098268054714048]
非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。
ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。
本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。
そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
論文 参考訳（メタデータ） (2022-05-16T06:53:14Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Optimized Potential Initialization for Low-latency Spiking Neural
Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。
ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。
本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文 参考訳（メタデータ） (2022-02-03T07:15:43Z) - Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking
Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。
SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う
そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-22T18:47:45Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳（メタデータ） (2020-08-12T04:26:18Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。