論文の概要: Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2105.11654v1
• Date: Tue, 25 May 2021 04:15:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 14:33:06.986818
• Title: Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking Neural Networks
• Title（参考訳）: ディープスパイクニューラルネットワークにおける高速かつ高精度なANN-SNN変換
• Authors: Jianhao Ding, Zhaofei Yu, Yonghong Tian and Tiejun Huang
• Abstract要約: Spiking Neural Networks(SNN)は、バイオインスパイアされたエネルギー効率の高いニューラルネットワークである。 本稿では,ANN-SNN変換を理論的に解析し,最適変換の十分な条件を導出する。 提案手法は, VGG-16, PreActResNet-18, およびより深い構造を用いて, ほぼ損失の少ない変換を実現する。
• 参考スコア（独自算出の注目度）: 43.046402416604245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs), as bio-inspired energy-efficient neural networks, have attracted great attentions from researchers and industry. The most efficient way to train deep SNNs is through ANN-SNN conversion. However, the conversion usually suffers from accuracy loss and long inference time, which impede the practical application of SNN. In this paper, we theoretically analyze ANN-SNN conversion and derive sufficient conditions of the optimal conversion. To better correlate ANN-SNN and get greater accuracy, we propose Rate Norm Layer to replace the ReLU activation function in source ANN training, enabling direct conversion from a trained ANN to an SNN. Moreover, we propose an optimal fit curve to quantify the fit between the activation value of source ANN and the actual firing rate of target SNN. We show that the inference time can be reduced by optimizing the upper bound of the fit curve in the revised ANN to achieve fast inference. Our theory can explain the existing work on fast reasoning and get better results. The experimental results show that the proposed method achieves near loss less conversion with VGG-16, PreActResNet-18, and deeper structures. Moreover, it can reach 8.6x faster reasoning performance under 0.265x energy consumption of the typical method. The code is available at https://github.com/DingJianhao/OptSNNConvertion-RNL-RIL.
• Abstract（参考訳）: バイオインスパイアされたエネルギー効率の高いニューラルネットワークであるスパイキングニューラルネットワーク(SNN)は、研究者や業界から大きな注目を集めている。 ディープSNNを訓練する最も効率的な方法は、ANN-SNN変換である。 しかし、変換は通常、精度の損失と長い推論時間に悩まされ、snnの実用的利用を妨げる。 本稿では,ANN-SNN変換を理論的に解析し,最適変換の十分な条件を導出する。 ANN-SNNの相関性を向上し、精度を高めるために、トレーニング済みのANNからSNNへの直接変換を可能にするソースANNトレーニングにおいて、ReLUアクティベーション関数を置き換えるためのレートノーム層を提案する。 さらに、ソースANNの活性化値とターゲットSNNの実際の発射速度との適合性を定量化する最適適合曲線を提案する。 修正ANNにおける適合曲線の上界を最適化し,高速な推論を行うことにより,推定時間を短縮できることを示す。 我々の理論は、高速推論に関する既存の研究を説明し、より良い結果を得ることができる。 実験結果から,提案手法はVGG-16, PreActResNet-18, 及びより深い構造を用いて, ほぼ損失の少ない変換を実現することがわかった。 さらに、従来の0.265倍のエネルギー消費で8.6倍高速な推論性能が得られる。 コードはhttps://github.com/DingJianhao/OptSNNConvertion-RNL-RILで公開されている。

関連論文リスト

• One-Spike SNN: Single-Spike Phase Coding with Base Manipulation for ANN-to-SNN Conversion Loss Minimization [0.41436032949434404]
  スパイクニューラルネットワーク(SNN)はイベント駆動であるため、エネルギー効率は従来の人工ニューラルネットワーク(ANN)よりも高い。 本研究では,SNN層間でデータを転送するスパイク数を最小限に抑える符号化方式として,単一スパイク位相符号化を提案する。 ANNに対する追加のトレーニングやアーキテクチャ上の制約がなければ、提案手法はCIFARとImageNetデータセットによる3つの畳み込みニューラルネットワーク(CNN)上で検証された推論精度(平均0.58%)を失うことはない。
  論文  参考訳（メタデータ） (2024-01-30T02:00:28Z)
• LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient Training in Deep Spiking Neural Networks [7.0691139514420005]
  スパイキングニューラルネットワーク(SNN)は、事象駆動機構のため、生物学的に現実的で、低消費電力で現実的に有望である。 トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。 レイヤワイドANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-17T03:49:35Z)
• Optimal ANN-SNN Conversion for High-accuracy and Ultra-low-latency Spiking Neural Networks [22.532709609646066]
  スパイキングニューラルネットワーク(SNN)は、低消費電力とニューロモルフィックハードウェアにおける高速推論の特徴的な特性により、大きな注目を集めている。 ディープSNNを得る最も効果的な方法として、ANN-SNN変換は大規模データセット上でのANNと同等のパフォーマンスを達成した。 本稿では,ANN-SNN変換誤差を理論的に解析し,SNNの活性化関数を推定する。 SNNとANNの変換誤差はゼロであり、高精度で超低レイテンシのSNNを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-03-08T03:04:53Z)
• Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
  スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。 ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。 本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
  論文  参考訳（メタデータ） (2023-02-21T14:10:56Z)
• SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
  スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。 本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。 実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-06-19T16:52:56Z)
• Optimized Potential Initialization for Low-latency Spiking Neural Networks [21.688402090967497]
  スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。 ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。 本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
  論文  参考訳（メタデータ） (2022-02-03T07:15:43Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。