論文の概要: SparseProp: Efficient Event-Based Simulation and Training of Sparse
Recurrent Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2312.17216v1
- Date: Thu, 28 Dec 2023 18:48:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 14:58:38.477819
- Title: SparseProp: Efficient Event-Based Simulation and Training of Sparse
Recurrent Spiking Neural Networks
- Title（参考訳）: スパースプロップ:効率的なイベントベースシミュレーションとスパースリカレントスパイキングニューラルネットワークの訓練
- Authors: Rainer Engelken
- Abstract要約: Spiking Neural Networks(SNN)は、生物学的にインスパイアされたモデルであり、アクションポテンシャルのストリームで情報を処理できる。
SparsePropはスパースSNNをシミュレートし、訓練するための新しいイベントベースアルゴリズムである。
- 参考スコア（独自算出の注目度）: 4.532517021515834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) are biologically-inspired models that are
capable of processing information in streams of action potentials. However,
simulating and training SNNs is computationally expensive due to the need to
solve large systems of coupled differential equations. In this paper, we
introduce SparseProp, a novel event-based algorithm for simulating and training
sparse SNNs. Our algorithm reduces the computational cost of both the forward
and backward pass operations from O(N) to O(log(N)) per network spike, thereby
enabling numerically exact simulations of large spiking networks and their
efficient training using backpropagation through time. By leveraging the
sparsity of the network, SparseProp eliminates the need to iterate through all
neurons at each spike, employing efficient state updates instead. We
demonstrate the efficacy of SparseProp across several classical
integrate-and-fire neuron models, including a simulation of a sparse SNN with
one million LIF neurons. This results in a speed-up exceeding four orders of
magnitude relative to previous event-based implementations. Our work provides
an efficient and exact solution for training large-scale spiking neural
networks and opens up new possibilities for building more sophisticated
brain-inspired models.
- Abstract（参考訳）: Spiking Neural Networks(SNN)は、生物学的にインスパイアされたモデルであり、アクションポテンシャルのストリームで情報を処理できる。
しかし、結合微分方程式の大規模システムを解く必要があるため、SNNのシミュレーションと訓練は計算コストがかかる。
本稿では,スパースSNNのシミュレーションとトレーニングを行うイベントベースアルゴリズムであるSparsePropを紹介する。
本アルゴリズムは,ネットワークスパイク毎にo(n)からo(log(n))までの前方および後方パス操作の計算コストを削減し,大規模スパイクネットワークの数値シミュレーションと時間的バックプロパゲーションを用いた効率的なトレーニングを可能にする。
ネットワークの間隔を活用することで、SparsePropはスパイク毎にすべてのニューロンを反復する必要をなくし、代わりに効率的な状態更新を使用する。
我々は、100万個のLIFニューロンを持つスパースSNNのシミュレーションを含む、古典的な統合火災ニューロンモデルにおけるスパースプロップの有効性を実証した。
その結果、従来のイベントベースの実装と比較して4桁を超えるスピードアップが実現した。
私たちの研究は、大規模スパイクニューラルネットワークをトレーニングするための効率的かつ正確なソリューションを提供し、より洗練された脳にインスパイアされたモデルを構築するための新しい可能性を開きます。
関連論文リスト
- Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales
for Pruning Recurrent SNN [19.551319330414085]
スパイキングニューラルネットワーク(RSNN)は、計算的に効率的で脳に触発された学習モデルとして登場した。
伝統的に、スパースSNNは、まずターゲットタスクのために密度が高く複雑なSNNを訓練することによって得られる。
本稿では,大きめのランダムモデルを用いて,スパースRSNNを設計するためのタスク依存手法を提案する。
論文 参考訳（メタデータ） (2024-03-06T02:36:15Z) - Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。
深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
論文 参考訳（メタデータ） (2023-06-22T04:25:27Z) - SA-CNN: Application to text categorization issues using simulated
annealing-based convolutional neural network optimization [0.0]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。
テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T14:27:34Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文 参考訳（メタデータ） (2022-11-10T08:32:13Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-07-19T23:41:03Z) - A Meta-Learning Approach to the Optimal Power Flow Problem Under
Topology Reconfigurations [69.73803123972297]
メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。
開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
論文 参考訳（メタデータ） (2020-12-21T17:39:51Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。