論文の概要: Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper
Directly-Trained Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2210.06386v1
- Date: Wed, 12 Oct 2022 16:39:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 12:24:27.876899
- Title: Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper
Directly-Trained Spiking Neural Networks
- Title（参考訳）: スパイキングDS-ResNetによるマルチレベルファイリング:より良く、より深く直接訓練されたスパイキングニューラルネットワーク
- Authors: Lang Feng, Qianhui Liu, Huajin Tang, De Ma, Gang Pan
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。
既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
- 参考スコア（独自算出の注目度）: 19.490903216456758
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) are bio-inspired neural networks with
asynchronous discrete and sparse characteristics, which have increasingly
manifested their superiority in low energy consumption. Recent research is
devoted to utilizing spatio-temporal information to directly train SNNs by
backpropagation. However, the binary and non-differentiable properties of spike
activities force directly trained SNNs to suffer from serious gradient
vanishing and network degradation, which greatly limits the performance of
directly trained SNNs and prevents them from going deeper. In this paper, we
propose a multi-level firing (MLF) method based on the existing spatio-temporal
back propagation (STBP) method, and spiking dormant-suppressed residual network
(spiking DS-ResNet). MLF enables more efficient gradient propagation and the
incremental expression ability of the neurons. Spiking DS-ResNet can
efficiently perform identity mapping of discrete spikes, as well as provide a
more suitable connection for gradient propagation in deep SNNs. With the
proposed method, our model achieves superior performances on a non-neuromorphic
dataset and two neuromorphic datasets with much fewer trainable parameters and
demonstrates the great ability to combat the gradient vanishing and degradation
problem in deep SNNs.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、非同期な離散性とスパース特性を持つバイオインスパイアされたニューラルネットワークであり、低エネルギー消費においてその優位性を示している。
最近の研究は、時空間情報を利用して、バックプロパゲーションによってSNNを直接訓練することに集中している。
しかし、スパイクアクティビティのバイナリおよび非微分可能特性は、直接訓練されたSNNが深刻な勾配の消失とネットワーク劣化に悩まされ、直接訓練されたSNNの性能が大幅に低下し、より深くなることを防ぐ。
本稿では,既存の時空間バック伝搬(STBP)法に基づくマルチレベルファイアリング(MLF)法と,停止抑制残差ネットワーク(DS-ResNetをスパイクする)を提案する。
MLFは神経細胞のより効率的な勾配伝播と漸進的な発現を可能にする。
DS-ResNetは離散スパイクのIDマッピングを効率的に行うことができ、深部SNNの勾配伝播により適した接続を提供する。
提案手法により,非ニューロモルフィックデータセットと2つのニューロモルフィックデータセットにおいて,トレーニング可能なパラメータがはるかに少ない性能を達成し,深部SNNにおける勾配消滅・劣化問題に対処する優れた能力を示す。
関連論文リスト
- Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。
最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。
オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
論文 参考訳（メタデータ） (2024-07-17T12:09:00Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳（メタデータ） (2023-10-23T14:26:16Z) - Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。
本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。
本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
論文 参考訳（メタデータ） (2023-08-16T08:58:25Z) - Gradient Scaling on Deep Spiking Neural Networks with Spike-Dependent
Local Information [2.111711135667053]
我々は、スパイキングバックプロパゲーション(STBP)と代理勾配を併用したディープニューラルネットワーク(SNN)を訓練する。
本研究では,時間前スパイクと時間後スパイクの関係である局所スパイク情報のスケーリングによる勾配について検討した。
スパイク間の因果関係を考えると、深層SNNの訓練を強化することができる。
論文 参考訳（メタデータ） (2023-08-01T13:58:21Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳（メタデータ） (2021-05-27T08:38:31Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳（メタデータ） (2021-05-11T10:05:53Z) - Skip-Connected Self-Recurrent Spiking Neural Networks with Joint
Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。
ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
論文 参考訳（メタデータ） (2020-10-23T22:27:13Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。