論文の概要: Spike-based computation using classical recurrent neural networks
- arxiv url: http://arxiv.org/abs/2306.03623v2
- Date: Fri, 8 Dec 2023 08:28:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 18:50:35.070744
- Title: Spike-based computation using classical recurrent neural networks
- Title(参考訳): 古典的リカレントニューラルネットワークを用いたスパイク計算
- Authors: Florent De Geeter (1), Damien Ernst (1), Guillaume Drion (1) ((1)
Montefiore Institute, University of Li\`ege, Li\`ege, Belgium)
- Abstract要約: スパイキングニューラルネットワーク(英: Spiking Neural Network)は、ニューロン間の通信が、スパイクと呼ばれるイベントのみによって構成される人工ニューラルネットワークである。
本稿では、よく知られた、訓練が容易なリカレントニューラルネットワークのダイナミクスを改良し、イベントベースにする。
この新ネットワークは,MNISTベンチマークにおいて,他の種類のスパイクネットワークに匹敵する性能が得られることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks are a type of artificial neural networks in which
communication between neurons is only made of events, also called spikes. This
property allows neural networks to make asynchronous and sparse computations
and therefore drastically decrease energy consumption when run on specialized
hardware. However, training such networks is known to be difficult, mainly due
to the non-differentiability of the spike activation, which prevents the use of
classical backpropagation. This is because state-of-the-art spiking neural
networks are usually derived from biologically-inspired neuron models, to which
are applied machine learning methods for training. Nowadays, research about
spiking neural networks focuses on the design of training algorithms whose goal
is to obtain networks that compete with their non-spiking version on specific
tasks. In this paper, we attempt the symmetrical approach: we modify the
dynamics of a well-known, easily trainable type of recurrent neural network to
make it event-based. This new RNN cell, called the Spiking Recurrent Cell,
therefore communicates using events, i.e. spikes, while being completely
differentiable. Vanilla backpropagation can thus be used to train any network
made of such RNN cell. We show that this new network can achieve performance
comparable to other types of spiking networks in the MNIST benchmark and its
variants, the Fashion-MNIST and the Neuromorphic-MNIST. Moreover, we show that
this new cell makes the training of deep spiking networks achievable.
- Abstract(参考訳): スパイクニューラルネットワーク(spyking neural network)は、ニューロン間の通信がスパイクと呼ばれるイベントのみで構成されている人工ニューラルネットワークの一種である。
この特性により、ニューラルネットワークは非同期でスパースな計算を可能にし、特殊なハードウェア上で実行する際のエネルギー消費量を劇的に削減できる。
しかし、このようなネットワークのトレーニングは、主に古典的なバックプロパゲーションの使用を妨げるスパイクアクティベーションの非微分性のために困難であることが知られている。
これは、最先端のスパイキングニューラルネットワークが、通常、トレーニングに機械学習の手法を適用する生物学的にインスパイアされたニューロンモデルから派生しているためである。
現在、スパイクニューラルネットワークの研究は、特定のタスクで非スパイクバージョンと競合するネットワークを得ることを目標とするトレーニングアルゴリズムの設計に焦点を当てている。
本稿では対称的アプローチを試みる。我々は、よく知られた、容易に訓練可能なリカレントニューラルネットワークのダイナミクスを、イベントベースにするために修正する。
新しいrnn細胞はスパイキングリカレント細胞と呼ばれ、スパイクのようなイベントを使って通信するが、完全に微分可能である。
したがって、バニラバックプロパゲーションは、そのようなRNN細胞で作られたネットワークをトレーニングするために使用できる。
この新ネットワークは,MNISTベンチマークとその変種であるFashion-MNISTとNeuromorphic-MNISTの他の種類のスパイクネットワークに匹敵する性能が得られることを示す。
さらに,この新細胞は,深層スパイクネットワークのトレーニングが実現可能であることを示す。
関連論文リスト
- Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳(メタデータ) (2024-01-09T07:31:34Z) - Expanding memory in recurrent spiking networks [2.8237889121096034]
リカレントスパイキングニューラルネットワーク(RSNN)は、スパイクのバイナリの性質によって強化される、消失する勾配問題のために訓練が難しいことで知られている。
我々はこれらの制限を回避する新しいスパイクニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-10-29T16:46:26Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳(メタデータ) (2023-02-01T04:22:59Z) - Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。
ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。
本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
論文 参考訳(メタデータ) (2023-01-17T20:52:48Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Combining Spiking Neural Network and Artificial Neural Network for
Enhanced Image Classification [1.8411688477000185]
生物学的脳シナプスによく似たSNN(spiking neural Network)は、低消費電力のために注目を集めている。
我々は、関係する性能を改善する汎用ハイブリッドニューラルネットワーク(hnn)を構築した。
論文 参考訳(メタデータ) (2021-02-21T12:03:16Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳(メタデータ) (2020-05-24T01:04:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。