論文の概要: LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient
Training in Deep Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2304.09101v1
- Date: Mon, 17 Apr 2023 03:49:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 14:04:45.280635
- Title: LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient
Training in Deep Spiking Neural Networks
- Title（参考訳）: LaSNN:ディープスパイクニューラルネットワークの効果的かつ効率的なトレーニングのためのレイヤワイズANN-to-SNN蒸留
- Authors: Di Hong, Jiangrong Shen, Yu Qi, Yueming Wang
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、事象駆動機構のため、生物学的に現実的で、低消費電力で現実的に有望である。
トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。
レイヤワイドANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークが提案されている。
- 参考スコア（独自算出の注目度）: 7.0691139514420005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) are biologically realistic and practically
promising in low-power computation because of their event-driven mechanism.
Usually, the training of SNNs suffers accuracy loss on various tasks, yielding
an inferior performance compared with ANNs. A conversion scheme is proposed to
obtain competitive accuracy by mapping trained ANNs' parameters to SNNs with
the same structures. However, an enormous number of time steps are required for
these converted SNNs, thus losing the energy-efficient benefit. Utilizing both
the accuracy advantages of ANNs and the computing efficiency of SNNs, a novel
SNN training framework is proposed, namely layer-wise ANN-to-SNN knowledge
distillation (LaSNN). In order to achieve competitive accuracy and reduced
inference latency, LaSNN transfers the learning from a well-trained ANN to a
small SNN by distilling the knowledge other than converting the parameters of
ANN. The information gap between heterogeneous ANN and SNN is bridged by
introducing the attention scheme, the knowledge in an ANN is effectively
compressed and then efficiently transferred by utilizing our layer-wise
distillation paradigm. We conduct detailed experiments to demonstrate the
effectiveness, efficacy, and scalability of LaSNN on three benchmark data sets
(CIFAR-10, CIFAR-100, and Tiny ImageNet). We achieve competitive top-1 accuracy
compared to ANNs and 20x faster inference than converted SNNs with similar
performance. More importantly, LaSNN is dexterous and extensible that can be
effortlessly developed for SNNs with different architectures/depths and input
encoding methods, contributing to their potential development.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、イベント駆動機構のため、生物学的に現実的で、低消費電力計算において現実的に有望である。
通常、SNNの訓練は様々なタスクにおいて精度の低下に悩まされ、ANNと比較して性能が劣る。
トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。
しかし、これらの変換されたSNNには膨大な時間ステップが必要であるため、エネルギー効率が低下する。
ANNの精度とSNNの計算効率の両面から、レイヤワイドのANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークを提案する。
競合精度と推論遅延の低減のために、LaSNNは、ANNのパラメータを変換する以外の知識を蒸留することにより、よく訓練されたANNからの学習を小さなSNNに転送する。
不均一なANNとSNN間の情報ギャップは、アテンションスキームを導入し、ANNの知識を効果的に圧縮し、我々の層ワイド蒸留パラダイムを利用して効率的に伝達する。
3つのベンチマークデータセット(CIFAR-10, CIFAR-100, Tiny ImageNet)上でLaSNNの有効性, 有効性, 拡張性を示すための詳細な実験を行った。
同様の性能を持つ変換SNNに比べて,ANNと20倍高速な推定を行う。
より重要なことは、LaSNNはデリケートで拡張性があり、異なるアーキテクチャ/深さと入力エンコーディングメソッドを持つSNN向けに懸命に開発することができる。
関連論文リスト
- Enhancing Adversarial Robustness in SNNs with Sparse Gradients [46.15229142258264]
スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率の高い操作と生物学的にインスパイアされた構造に対して大きな注目を集めている。
既存の技術は、ANNから適応したものであれ、SNNのために特別に設計されたものであれ、SNNの訓練や強力な攻撃に対する防御に制限がある。
本稿では,SNNの頑健性を高めるための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T05:39:27Z) - Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks
via Self-Distillation and Weight Factorization [12.1610509770913]
スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。
我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。
我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
論文 参考訳（メタデータ） (2023-05-03T13:12:17Z) - Optimal ANN-SNN Conversion for High-accuracy and Ultra-low-latency
Spiking Neural Networks [22.532709609646066]
スパイキングニューラルネットワーク(SNN)は、低消費電力とニューロモルフィックハードウェアにおける高速推論の特徴的な特性により、大きな注目を集めている。
ディープSNNを得る最も効果的な方法として、ANN-SNN変換は大規模データセット上でのANNと同等のパフォーマンスを達成した。
本稿では,ANN-SNN変換誤差を理論的に解析し,SNNの活性化関数を推定する。
SNNとANNの変換誤差はゼロであり、高精度で超低レイテンシのSNNを実現することができることを示す。
論文 参考訳（メタデータ） (2023-03-08T03:04:53Z) - SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking
Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。
本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。
実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文 参考訳（メタデータ） (2022-06-19T16:52:56Z) - Beyond Classification: Directly Training Spiking Neural Networks for
Semantic Segmentation [5.800785186389827]
ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。
本稿では,ニューロンをスパイクしたセマンティックセグメンテーションネットワークの分類を超えて,SNNの応用について検討する。
論文 参考訳（メタデータ） (2021-10-14T21:53:03Z) - Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep
Spiking Neural Networks [43.046402416604245]
Spiking Neural Networks(SNN)は、バイオインスパイアされたエネルギー効率の高いニューラルネットワークである。
本稿では,ANN-SNN変換を理論的に解析し,最適変換の十分な条件を導出する。
提案手法は, VGG-16, PreActResNet-18, およびより深い構造を用いて, ほぼ損失の少ない変換を実現する。
論文 参考訳（メタデータ） (2021-05-25T04:15:06Z) - Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。
すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。
本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-09-28T03:29:19Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Training Deep Spiking Neural Networks [0.0]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)とニューロモルフィックハードウェアは、エネルギー効率を桁違いに高める可能性がある。
CIFAR100およびImagenetteオブジェクト認識データセット上で、ResNet50アーキテクチャでSNNをトレーニングすることが可能であることを示す。
訓練されたSNNは、類似のANNと比較して精度が劣るが、数桁の推論時間ステップを必要とする。
論文 参考訳（メタデータ） (2020-06-08T09:47:05Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。