論文の概要: Exact Error Backpropagation Through Spikes for Precise Training of
Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2212.09500v1
- Date: Thu, 15 Dec 2022 20:18:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 14:32:37.734983
- Title: Exact Error Backpropagation Through Spikes for Precise Training of
Spiking Neural Networks
- Title（参考訳）: スパイクによる正確な誤りバックプロパゲーションによるスパイクニューラルネットワークの精密トレーニング
- Authors: Florian Bacho and Dominique Chu
- Abstract要約: スパイキングニューラルネットワーク(SNN)のイベントベースシミュレーションは高速で正確である。
フォワード法による離散化は、勾配降下法でしばしば用いられる。
我々は、SNNのスパイク法により、Fast & Deepをニューロン毎の複数のスパイクに拡張する、新しい正確なエラーバックプロパゲーションを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Event-based simulations of Spiking Neural Networks (SNNs) are fast and
accurate. However, they are rarely used in the context of event-based gradient
descent because their implementations on GPUs are difficult. Discretization
with the forward Euler method is instead often used with gradient descent
techniques but has the disadvantage of being computationally expensive.
Moreover, the lack of precision of discretized simulations can create
mismatches between the simulated models and analog neuromorphic hardware. In
this work, we propose a new exact error-backpropagation through spikes method
for SNNs, extending Fast \& Deep to multiple spikes per neuron. We show that
our method can be efficiently implemented on GPUs in a fully event-based
manner, making it fast to compute and precise enough for analog neuromorphic
hardware. Compared to the original Fast \& Deep and the current
state-of-the-art event-based gradient-descent algorithms, we demonstrate
increased performance on several benchmark datasets with both feedforward and
convolutional SNNs. In particular, we show that multi-spike SNNs can have
advantages over single-spike networks in terms of convergence, sparsity,
classification latency and sensitivity to the dead neuron problem.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)のイベントベースシミュレーションは高速で正確である。
しかし、GPUの実装が難しいため、イベントベースの勾配降下という文脈ではほとんど使われない。
前方オイラー法との離散化はしばしば勾配降下法で用いられるが、計算コストが高いという欠点がある。
さらに、離散化シミュレーションの精度の欠如は、シミュレーションモデルとアナログニューロモルフィックハードウェアのミスマッチを引き起こす可能性がある。
そこで本研究では,snsのスパイク法による新しい正確な誤りバックプロパゲーションを提案し,ニューロン毎の複数のスパイクまで高速かつ深く拡張する。
提案手法は,完全にイベントベースでGPU上で効率よく実装でき,アナログニューロモルフィックハードウェアの計算と精度を十分に向上できることを示す。
従来のFast \& Deepと現在の最先端のイベントベースグラデーション・ディフレッシュアルゴリズムと比較して、フィードフォワードと畳み込みSNNの両方を用いたベンチマークデータセットの性能向上を示す。
特に,複数スパイクSNNは単一スパイクネットワークに対して,収束性,疎度,分類遅延,致命的なニューロン問題に対する感受性の点で有利であることを示す。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳（メタデータ） (2023-10-23T14:26:16Z) - Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。
本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。
本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
論文 参考訳（メタデータ） (2023-08-16T08:58:25Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳（メタデータ） (2021-12-12T17:13:14Z) - Training Energy-Efficient Deep Spiking Neural Networks with
Time-to-First-Spike Coding [29.131030799324844]
スパイキングニューラルネットワーク(SNN)は人間の脳の動作を模倣する。
ディープラーニングでは、ディープニューラルネットワーク(DNN)が深刻な問題になっている。
本稿では,TTFS符号化を用いたエネルギー効率の高い深部SNNの学習手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T16:02:27Z) - Sparse Spiking Gradient Descent [2.741266294612776]
本稿では,従来の手法と同等あるいはより高精度なSNNバックプロパゲーションアルゴリズムを提案する。
本稿では,複雑性の異なる実データセットに対する本手法の有効性を示す。
論文 参考訳（メタデータ） (2021-05-18T20:00:55Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z) - T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。
提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
論文 参考訳（メタデータ） (2020-03-26T04:39:12Z) - Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects
of Discrete Input Encoding and Non-Linear Activations [9.092733355328251]
スパイキングニューラルネットワーク(SNN)は、敵対的攻撃に対する固有の堅牢性の候補である。
本研究では、勾配に基づく攻撃によるSNNの対向精度が、非スパイク攻撃よりも高いことを示す。
論文 参考訳（メタデータ） (2020-03-23T17:20:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。