論文の概要: Parallel Spiking Neurons with High Efficiency and Ability to Learn Long-term Dependencies

• arxiv url: http://arxiv.org/abs/2304.12760v2
• Date: Wed, 24 May 2023 08:07:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 01:24:54.922316
• Title: Parallel Spiking Neurons with High Efficiency and Ability to Learn Long-term Dependencies
• Title（参考訳）: 高効率・長期依存学習能力を有する平行スパイキングニューロン
• Authors: Wei Fang, Zhaofei Yu, Zhaokun Zhou, Ding Chen, Yanqi Chen, Zhengyu Ma, Timoth\'ee Masquelier, Yonghong Tian
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、チャージ・ファイア・リセット・ニューラル・ダイナミクスを使用する。 本稿では,前者とは独立に隠れた状態を生成するParallel Spiking Neuron (PSN)を提案する。 我々はPSNファミリーをシミュレーション速度と時間的・静的データ分類で評価し,PSNファミリーの効率と精度において圧倒的な優位性を示した。
• 参考スコア（独自算出の注目度）: 21.59014998639814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vanilla spiking neurons in Spiking Neural Networks (SNNs) use charge-fire-reset neuronal dynamics, which can only be simulated serially and can hardly learn long-time dependencies. We find that when removing reset, the neuronal dynamics can be reformulated in a non-iterative form and parallelized. By rewriting neuronal dynamics without reset to a general formulation, we propose the Parallel Spiking Neuron (PSN), which generates hidden states that are independent of their predecessors, resulting in parallelizable neuronal dynamics and extremely high simulation speed. The weights of inputs in the PSN are fully connected, which maximizes the utilization of temporal information. To avoid the use of future inputs for step-by-step inference, the weights of the PSN can be masked, resulting in the masked PSN. By sharing weights across time-steps based on the masked PSN, the sliding PSN is proposed to handle sequences of varying lengths. We evaluate the PSN family on simulation speed and temporal/static data classification, and the results show the overwhelming advantage of the PSN family in efficiency and accuracy. To the best of our knowledge, this is the first study about parallelizing spiking neurons and can be a cornerstone for the spiking deep learning research. Our codes are available at \url{https://github.com/fangwei123456/Parallel-Spiking-Neuron}.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)のバニラスパイクニューロンは、チャージ・ファイア・リセット・ニューラルダイナミクスを使用しており、連続的にシミュレートするだけで、長期間の依存関係を学べない。 リセットを取り除くと、ニューロンのダイナミクスは非イテレーティブな形で再構成され、並列化される。 一般の定式化によらずに神経力学を書き換えることにより、前者とは独立に隠れた状態を生成するパラレルスパイキングニューロン(PSN)を提案し、並列化可能な神経力学と極めて高いシミュレーション速度をもたらす。 PSNにおける入力の重みは完全連結であり、時間情報の利用を最大化する。 ステップバイステップ推論のための将来の入力の使用を避けるために、psnの重みをマスキングすることができ、その結果、マスキングpsnとなる。 マスク付きPSNに基づいて時間ステップ間で重みを共有することにより、様々な長さのシーケンスを処理するためのスライディングPSNを提案する。 シミュレーション速度と時間・静的データ分類におけるpsnファミリーの評価を行い,psnファミリーの効率と精度において圧倒的な優位性を示した。 私たちの知る限りでは、これはスパイクニューロンの並列化に関する最初の研究であり、スパイク深層学習研究の基礎となる可能性がある。 我々のコードは \url{https://github.com/fangwei123456/Parallel-Spiking-Neuron} で公開されている。

関連論文リスト

• Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
  スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。 スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。 提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
  論文  参考訳（メタデータ） (2024-09-08T05:14:22Z)
• Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。 本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
  論文  参考訳（メタデータ） (2024-05-27T05:53:30Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Co-learning synaptic delays, weights and adaptation in spiking neural networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。 スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
  論文  参考訳（メタデータ） (2023-09-12T09:13:26Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life [0.0]
  我々は、致命的な神経細胞問題に対処する手段として、シナプスストリッピングを導入する。 トレーニング中に問題のある接続を自動的に取り除くことで、死んだ神経細胞を再生することができる。 我々は,ネットワーク幅と深さの関数として,これらのダイナミクスを研究するために,いくつかのアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2023-02-11T23:55:50Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
  複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。 我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
  論文  参考訳（メタデータ） (2021-04-21T18:23:31Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。