論文の概要: Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks
via Self-Distillation and Weight Factorization
- arxiv url: http://arxiv.org/abs/2305.02099v1
- Date: Wed, 3 May 2023 13:12:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-04 14:57:13.122436
- Title: Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks
via Self-Distillation and Weight Factorization
- Title（参考訳）: A-SNN:自己蒸留と重み因子化による人工・スパイクニューラルネットワークの合同訓練
- Authors: Yufei Guo, Weihang Peng, Yuanpei Chen, Liwen Zhang, Xiaode Liu, Xuhui
Huang, Zhe Ma
- Abstract要約: スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。
我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。
我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
- 参考スコア（独自算出の注目度）: 12.1610509770913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Emerged as a biology-inspired method, Spiking Neural Networks (SNNs) mimic
the spiking nature of brain neurons and have received lots of research
attention. SNNs deal with binary spikes as their activation and therefore
derive extreme energy efficiency on hardware. However, it also leads to an
intrinsic obstacle that training SNNs from scratch requires a re-definition of
the firing function for computing gradient. Artificial Neural Networks (ANNs),
however, are fully differentiable to be trained with gradient descent. In this
paper, we propose a joint training framework of ANN and SNN, in which the ANN
can guide the SNN's optimization. This joint framework contains two parts:
First, the knowledge inside ANN is distilled to SNN by using multiple branches
from the networks. Second, we restrict the parameters of ANN and SNN, where
they share partial parameters and learn different singular weights. Extensive
experiments over several widely used network structures show that our method
consistently outperforms many other state-of-the-art training methods. For
example, on the CIFAR100 classification task, the spiking ResNet-18 model
trained by our method can reach to 77.39% top-1 accuracy with only 4 time
steps.
- Abstract（参考訳）: 生物学にヒントを得たスパイキングニューラルネットワーク(SNN)は、脳ニューロンのスパイキング特性を模倣し、多くの研究の注目を集めている。
snnはバイナリスパイクをアクティベーションとして扱い、ハードウェアのエネルギー効率を極端に向上させる。
しかし、これはまた、スクラッチからSNNを訓練するためには、勾配を計算するために発射関数を再定義する必要がある本質的な障害につながる。
しかし、ANN(Artificial Neural Networks)は、勾配降下でトレーニングすることができる。
本稿では,ANNとSNNの協調トレーニングフレームワークを提案する。
まず、ネットワークからの複数のブランチを使用することで、ANN内の知識をSNNに蒸留する。
第二に、ANNとSNNのパラメータを制限し、部分的パラメータを共有し、異なる特異重みを学習する。
広範に使用されるネットワーク構造に関する広範囲な実験により,本手法は他の最先端のトレーニング手法を一貫して上回っていることが示された。
例えば、CIFAR100分類タスクでは、我々の方法で訓練されたスパイクされたResNet-18モデルは、わずか4ステップで77.39%のトップ-1精度に達する。
関連論文リスト
- NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。
我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。
さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文 参考訳（メタデータ） (2024-08-28T02:17:58Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳（メタデータ） (2023-10-23T14:26:16Z) - High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である
深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。
我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
論文 参考訳（メタデータ） (2023-06-14T21:01:35Z) - LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient
Training in Deep Spiking Neural Networks [7.0691139514420005]
スパイキングニューラルネットワーク(SNN)は、事象駆動機構のため、生物学的に現実的で、低消費電力で現実的に有望である。
トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。
レイヤワイドANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークが提案されている。
論文 参考訳（メタデータ） (2023-04-17T03:49:35Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking
Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。
本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。
実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文 参考訳（メタデータ） (2022-06-19T16:52:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Beyond Classification: Directly Training Spiking Neural Networks for
Semantic Segmentation [5.800785186389827]
ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。
本稿では,ニューロンをスパイクしたセマンティックセグメンテーションネットワークの分類を超えて,SNNの応用について検討する。
論文 参考訳（メタデータ） (2021-10-14T21:53:03Z) - Spiking neural networks trained via proxy [0.696125353550498]
本稿では,従来のニューラルネットワーク(ANN)を代用として,スパイクニューラルネットワーク(SNN)を訓練するための新しい学習アルゴリズムを提案する。
SNNとANNの2つのネットワークをそれぞれ、同じネットワークアーキテクチャと共有シナプス重みを持つIF(Integration-and-fire)とReLU(ReLU)の2つに分けた。
IFニューロンにReLUの近似としてレートコーディングを仮定することにより、SNNの最終出力をSNNのものと置き換えることによって、共有重みを更新するためにプロキシANNにおけるSNNのエラーをバックプロパタイトする。
論文 参考訳（メタデータ） (2021-09-27T17:29:51Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Training Deep Spiking Neural Networks [0.0]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)とニューロモルフィックハードウェアは、エネルギー効率を桁違いに高める可能性がある。
CIFAR100およびImagenetteオブジェクト認識データセット上で、ResNet50アーキテクチャでSNNをトレーニングすることが可能であることを示す。
訓練されたSNNは、類似のANNと比較して精度が劣るが、数桁の推論時間ステップを必要とする。
論文 参考訳（メタデータ） (2020-06-08T09:47:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。