Fugu-MT 論文翻訳(概要): Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization

論文の概要: Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization

arxiv url: http://arxiv.org/abs/2305.02099v1
Date: Wed, 3 May 2023 13:12:17 GMT
ステータス: 処理完了
システム内更新日: 2023-05-04 14:57:13.122436
Title: Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization
Title（参考訳）: A-SNN:自己蒸留と重み因子化による人工・スパイクニューラルネットワークの合同訓練
Authors: Yufei Guo, Weihang Peng, Yuanpei Chen, Liwen Zhang, Xiaode Liu, Xuhui Huang, Zhe Ma
Abstract要約: スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
参考スコア（独自算出の注目度）: 12.1610509770913
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Emerged as a biology-inspired method, Spiking Neural Networks (SNNs) mimic the spiking nature of brain neurons and have received lots of research attention. SNNs deal with binary spikes as their activation and therefore derive extreme energy efficiency on hardware. However, it also leads to an intrinsic obstacle that training SNNs from scratch requires a re-definition of the firing function for computing gradient. Artificial Neural Networks (ANNs), however, are fully differentiable to be trained with gradient descent. In this paper, we propose a joint training framework of ANN and SNN, in which the ANN can guide the SNN's optimization. This joint framework contains two parts: First, the knowledge inside ANN is distilled to SNN by using multiple branches from the networks. Second, we restrict the parameters of ANN and SNN, where they share partial parameters and learn different singular weights. Extensive experiments over several widely used network structures show that our method consistently outperforms many other state-of-the-art training methods. For example, on the CIFAR100 classification task, the spiking ResNet-18 model trained by our method can reach to 77.39% top-1 accuracy with only 4 time steps.
Abstract（参考訳）: 生物学にヒントを得たスパイキングニューラルネットワーク(SNN)は、脳ニューロンのスパイキング特性を模倣し、多くの研究の注目を集めている。 snnはバイナリスパイクをアクティベーションとして扱い、ハードウェアのエネルギー効率を極端に向上させる。しかし、これはまた、スクラッチからSNNを訓練するためには、勾配を計算するために発射関数を再定義する必要がある本質的な障害につながる。しかし、ANN(Artificial Neural Networks)は、勾配降下でトレーニングすることができる。本稿では,ANNとSNNの協調トレーニングフレームワークを提案する。まず、ネットワークからの複数のブランチを使用することで、ANN内の知識をSNNに蒸留する。第二に、ANNとSNNのパラメータを制限し、部分的パラメータを共有し、異なる特異重みを学習する。広範に使用されるネットワーク構造に関する広範囲な実験により,本手法は他の最先端のトレーニング手法を一貫して上回っていることが示された。例えば、CIFAR100分類タスクでは、我々の方法で訓練されたスパイクされたResNet-18モデルは、わずか4ステップで77.39%のトップ-1精度に達する。

関連論文リスト

LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文参考訳（メタデータ） (2023-10-23T14:26:16Z)
High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
論文参考訳（メタデータ） (2023-06-14T21:01:35Z)
LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient Training in Deep Spiking Neural Networks [7.0691139514420005]
スパイキングニューラルネットワーク(SNN)は、事象駆動機構のため、生物学的に現実的で、低消費電力で現実的に有望である。トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。レイヤワイドANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークが提案されている。
論文参考訳（メタデータ） (2023-04-17T03:49:35Z)
SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文参考訳（メタデータ） (2023-02-01T04:22:59Z)
SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文参考訳（メタデータ） (2022-06-19T16:52:56Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Beyond Classification: Directly Training Spiking Neural Networks for Semantic Segmentation [5.800785186389827]
ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。本稿では,ニューロンをスパイクしたセマンティックセグメンテーションネットワークの分類を超えて,SNNの応用について検討する。
論文参考訳（メタデータ） (2021-10-14T21:53:03Z)
Spiking neural networks trained via proxy [0.696125353550498]
本稿では,従来のニューラルネットワーク(ANN)を代用として,スパイクニューラルネットワーク(SNN)を訓練するための新しい学習アルゴリズムを提案する。 SNNとANNの2つのネットワークをそれぞれ、同じネットワークアーキテクチャと共有シナプス重みを持つIF(Integration-and-fire)とReLU(ReLU)の2つに分けた。 IFニューロンにReLUの近似としてレートコーディングを仮定することにより、SNNの最終出力をSNNのものと置き換えることによって、共有重みを更新するためにプロキシANNにおけるSNNのエラーをバックプロパタイトする。
論文参考訳（メタデータ） (2021-09-27T17:29:51Z)
Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文参考訳（メタデータ） (2020-09-28T03:29:19Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Training Deep Spiking Neural Networks [0.0]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)とニューロモルフィックハードウェアは、エネルギー効率を桁違いに高める可能性がある。 CIFAR100およびImagenetteオブジェクト認識データセット上で、ResNet50アーキテクチャでSNNをトレーニングすることが可能であることを示す。訓練されたSNNは、類似のANNと比較して精度が劣るが、数桁の推論時間ステップを必要とする。
論文参考訳（メタデータ） (2020-06-08T09:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。