論文の概要: Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity
- arxiv url: http://arxiv.org/abs/2211.05412v2
- Date: Tue, 17 Oct 2023 04:46:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 23:03:27.881557
- Title: Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity
- Title（参考訳）: desire backpropagation:spike-timing-dependent plasticityに基づく多層スパイクニューラルネットワークのための軽量学習アルゴリズム
- Authors: Daniel Gerlinghoff, Tao Luo, Rick Siow Mong Goh, Weng-Fai Wong
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
- 参考スコア（独自算出の注目度）: 13.384228628766236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) are a viable alternative to conventional
artificial neural networks when resource efficiency and computational
complexity are of importance. A major advantage of SNNs is their binary
information transfer through spike trains which eliminates multiplication
operations. The training of SNNs has, however, been a challenge, since neuron
models are non-differentiable and traditional gradient-based backpropagation
algorithms cannot be applied directly. Furthermore, spike-timing-dependent
plasticity (STDP), albeit being a spike-based learning rule, updates weights
locally and does not optimize for the output error of the network. We present
desire backpropagation, a method to derive the desired spike activity of all
neurons, including the hidden ones, from the output error. By incorporating
this desire value into the local STDP weight update, we can efficiently capture
the neuron dynamics while minimizing the global error and attaining a high
classification accuracy. That makes desire backpropagation a spike-based
supervised learning rule. We trained three-layer networks to classify MNIST and
Fashion-MNIST images and reached an accuracy of 98.41% and 87.56%,
respectively. In addition, by eliminating a multiplication during the backward
pass, we reduce computational complexity and balance arithmetic resources
between forward and backward pass, making desire backpropagation a candidate
for training on low-resource devices.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、資源効率と計算複雑性が重要である場合、従来の人工ニューラルネットワークの代替となる。
SNNの大きな利点は、乗算操作を排除するスパイク列車によるバイナリ情報転送である。
しかし、ニューロンモデルは微分不可能であり、従来の勾配に基づくバックプロパゲーションアルゴリズムを直接適用できないため、SNNのトレーニングは困難である。
さらに、spike-timing-dependent plasticity(stdp)は、スパイクベースの学習規則であるが、重みをローカルに更新し、ネットワークの出力エラーを最適化しない。
本研究では,出力誤差から隠れたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する手法であるdesire backpropagationを提案する。
局所STDP重み更新にこの欲求値を組み込むことで、グローバルエラーを最小限に抑え、高い分類精度を達成しつつ、ニューロンのダイナミクスを効率的に捉えることができる。
これは、欲望のバックプロパゲーションをスパイクベースの教師付き学習ルールにする。
mnist と fashion-mnist を分類するために3層ネットワークを訓練し,それぞれ98.41% と 87.56% の精度を得た。
さらに,後方通過時の乗算を除去することにより,計算複雑性を低減し,後方通過と後方通過の算術的資源のバランスを保ち,低リソースデバイスでのトレーニングの候補となる欲求のバックプロパゲーションを実現する。
関連論文リスト
- Stepwise Weighted Spike Coding for Deep Spiking Neural Networks [7.524721345903027]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパイキング動作を模倣しようと試みている。
本稿では,スパイクにおける情報のエンコーディングを強化するために,SWS(Stepwise Weighted Spike)符号化方式を提案する。
このアプローチは、ニューラルネットワークの各ステップにおけるスパイクの重要性を重み付け、高い性能と低エネルギー消費を達成することでスパイクを圧縮する。
論文 参考訳（メタデータ） (2024-08-30T12:39:25Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - A temporally and spatially local spike-based backpropagation algorithm
to enable training in hardware [0.0]
Spiking Neural Networks (SNN)は、分類タスクのためのハードウェア効率の良いアーキテクチャとして登場した。
非スパイキング人工ニューラルネットワーク(ANN)で使用される強力なバックプロパゲーション(BP)技術を採用する試みはいくつかある。
論文 参考訳（メタデータ） (2022-07-20T08:57:53Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Selfish Sparse RNN Training [13.165729746380816]
本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。
我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
論文 参考訳（メタデータ） (2021-01-22T10:45:40Z) - Skip-Connected Self-Recurrent Spiking Neural Networks with Joint
Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。
ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
論文 参考訳（メタデータ） (2020-10-23T22:27:13Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。