論文の概要: Parallel Spiking Neurons with High Efficiency and Long-term Dependencies
Learning Ability
- arxiv url: http://arxiv.org/abs/2304.12760v1
- Date: Tue, 25 Apr 2023 12:19:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 20:54:57.823848
- Title: Parallel Spiking Neurons with High Efficiency and Long-term Dependencies
Learning Ability
- Title(参考訳): 高効率・長期依存性学習能力を有する平行スパイキングニューロン
- Authors: Wei Fang, Zhaofei Yu, Zhaokun Zhou, Yanqi Chen, Zhengyu Ma, Timoth\'ee
Masquelier, Yonghong Tian
- Abstract要約: スパイキングニューラルネットワーク(SNN)はチャージ・ファイア・リセット・ニューラルダイナミクスを使用し、シリアルでしかシミュレートできない。
時空間情報の利用を最大化するために,時間ステップ間の密接な接続を利用する並列スパイキングニューロン(PSN)を提案する。
- 参考スコア(独自算出の注目度): 22.672803616311025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vanilla spiking neurons in Spiking Neural Networks (SNNs) use
charge-fire-reset neuronal dynamics, which can only be simulated in serial and
can hardly learn long-time dependencies. We find that when removing reset, the
neuronal dynamics are reformulated in a non-iterative form and can be
parallelized. By rewriting neuronal dynamics without resetting to a general
formulation, we propose the Parallel Spiking Neuron (PSN), which uses dense
connections between time-steps to maximize the utilization of temporal
information. To avoid the use of future inputs for low-latency inference, we
add masks on the weights and obtain the masked PSN. By sharing weights across
time-steps, the sliding PSN is proposed with the ability to deal with sequences
with variant lengths. We evaluate the PSN family on simulation speed and
temporal/static data classification, and the results show the overwhelming
advantage of the PSN family in efficiency and accuracy. To our best knowledge,
this is the first research about parallelizing spiking neurons and can be a
cornerstone for the spiking deep learning community. Our codes are available at
\url{https://github.com/fangwei123456/Parallel-Spiking-Neuron}.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)のバニラスパイクニューロンは、チャージ・ファイア・リセット・ニューラルダイナミクスを使用し、シリアルでしかシミュレートできず、長期間の依存関係を学べない。
リセットを取り除くと、ニューロンのダイナミクスは非イテレーティブな形で再構成され、並列化できる。
一般定式化にリセットすることなくニューロンのダイナミクスを書き換えることにより,時間ステップ間の密接な接続を用いて時間情報の利用を最大化する並列スパイキングニューロン(psn)を提案する。
低遅延推論における将来の入力の使用を避けるため、重みにマスクを追加し、マスク付きPSNを得る。
時間ステップ間で重みを共有することにより、スライディングPSNは可変長のシーケンスを扱うことができる。
シミュレーション速度と時間・静的データ分類におけるpsnファミリーの評価を行い,psnファミリーの効率と精度において圧倒的な優位性を示した。
私たちの知る限りでは、これはスパイクニューロンの並列化に関する最初の研究であり、スパイク深層学習コミュニティの基盤となるでしょう。
我々のコードは \url{https://github.com/fangwei123456/Parallel-Spiking-Neuron} で公開されている。
関連論文リスト
- Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳(メタデータ) (2024-02-19T09:29:37Z) - Co-learning synaptic delays, weights and adaptation in spiking neural
networks [0.0]
スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。
スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
論文 参考訳(メタデータ) (2023-09-12T09:13:26Z) - Neuromorphic Online Learning for Spatiotemporal Patterns with a
Forward-only Timeline [5.094970748243019]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、高エネルギー効率のバイオプレースブルコンピューティングモデルである。
BPTT(Back Proagation Through Time)は、伝統的にSNNのトレーニングに使用される。
SNNのオンライン学習に特化して設計されたSOLSA(Spatiotemporal Online Learning for Synaptic Adaptation)を提案する。
論文 参考訳(メタデータ) (2023-07-21T02:47:03Z) - Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。
深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
論文 参考訳(メタデータ) (2023-06-22T04:25:27Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life [0.0]
我々は、致命的な神経細胞問題に対処する手段として、シナプスストリッピングを導入する。
トレーニング中に問題のある接続を自動的に取り除くことで、死んだ神経細胞を再生することができる。
我々は,ネットワーク幅と深さの関数として,これらのダイナミクスを研究するために,いくつかのアブレーション研究を行っている。
論文 参考訳(メタデータ) (2023-02-11T23:55:50Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳(メタデータ) (2021-04-21T18:23:31Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。