論文の概要: PRF: Parallel Resonate and Fire Neuron for Long Sequence Learning in Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2410.03530v2
- Date: Wed, 30 Oct 2024 01:39:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 21:39:44.761598
- Title: PRF: Parallel Resonate and Fire Neuron for Long Sequence Learning in Spiking Neural Networks
- Title（参考訳）: PRF:スパイクニューラルネットワークにおける長周期学習のための並列共振器と火災ニューロン
- Authors: Yulong Huang, Zunchang Liu, Changchun Feng, Xiaopeng Lin, Hongwei Ren, Haotian Fu, Yue Zhou, Hong Xing, Bojun Cheng,
- Abstract要約: スパイキングニューラルネットワーク(SNN)における長周期学習の効率性と性能の課題を同時に解決する。
まず,典型的なLeaky Integrate-and-Fire(LIF)モデルのトレーニング時間を$O(L2)$から$O(Llog L)$に短縮する。
第二に、長距離依存性を捉えるために、複素領域における微分可能リセット関数から共振機構によって駆動される振動膜電位を利用するパラレル共鳴・火災ニューロン(PRF)を提案する。
- 参考スコア（独自算出の注目度）: 6.545474731089018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there is growing demand for effective and efficient long sequence modeling, with State Space Models (SSMs) proving to be effective for long sequence tasks. To further reduce energy consumption, SSMs can be adapted to Spiking Neural Networks (SNNs) using spiking functions. However, current spiking-formalized SSMs approaches still rely on float-point matrix-vector multiplication during inference, undermining SNNs' energy advantage. In this work, we address the efficiency and performance challenges of long sequence learning in SNNs simultaneously. First, we propose a decoupled reset method for parallel spiking neuron training, reducing the typical Leaky Integrate-and-Fire (LIF) model's training time from $O(L^2)$ to $O(L\log L)$, effectively speeding up the training by $6.57 \times$ to $16.50 \times$ on sequence lengths $1,024$ to $32,768$. To our best knowledge, this is the first time that parallel computation with a reset mechanism is implemented achieving equivalence to its sequential counterpart. Secondly, to capture long-range dependencies, we propose a Parallel Resonate and Fire (PRF) neuron, which leverages an oscillating membrane potential driven by a resonate mechanism from a differentiable reset function in the complex domain. The PRF enables efficient long sequence learning while maintaining parallel training. Finally, we demonstrate that the proposed spike-driven architecture using PRF achieves performance comparable to Structured SSMs (S4), with two orders of magnitude reduction in energy consumption, outperforming Transformer on Long Range Arena tasks.
- Abstract（参考訳）: 近年,SSM(State Space Models)が長周期タスクに有効であることが証明され,効率的かつ効率的な長周期モデリングへの需要が高まっている。
エネルギー消費をさらに削減するために、SSMはスパイキング機能を使用してスパイキングニューラルネットワーク(SNN)に適応することができる。
しかし、現在のスパイキング形式化されたSSMのアプローチは、推論中に浮動小数点行列ベクトル乗法に依存しており、SNNのエネルギー優位性を損なう。
本研究では,SNNにおける長周期学習の効率性と性能の課題を同時に解決する。
まず,典型的なLeaky Integrate-and-Fire(LIF)モデルのトレーニング時間を$O(L^2)$から$O(L\log L)$に短縮し,6.57 \times$から$16.50 \times$までのトレーニングを,シーケンス長で$1,024$から$32,768$に効果的に高速化する。
我々の知る限りでは、リセット機構による並列計算が、そのシーケンシャルな計算と等価性を実現するのはこれが初めてである。
次に, 共振機構によって駆動される振動膜電位を複素領域の微分可能リセット関数から活用するパラレル共鳴・火災ニューロンを提案する。
PRFは、並列トレーニングを維持しながら、効率的なロングシーケンス学習を可能にする。
最後に,PRFを用いたスパイク駆動型アーキテクチャは,SSM(Structured SSMs)に匹敵する性能を実現していることを示す。
関連論文リスト
- Were RNNs All We Needed? [53.393497486332]
従来のリカレントニューラルネットワーク(RNN)を10年以上前から再検討しています。
入力から隠れた状態依存を取り除くことで、LSTMやGRUはBPTTを必要とせず、並列で効率的に訓練できることを示す。
論文 参考訳（メタデータ） (2024-10-02T03:06:49Z) - Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。
スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。
提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
論文 参考訳（メタデータ） (2024-09-08T05:14:22Z) - SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models [19.04709216497077]
長いシーケンス学習のためのスパイキング状態空間モデル(SpikingSSM)を開発した。
樹状ニューロン構造にインスパイアされた我々は、神経力学を元のSSMブロックと階層的に統合する。
そこで本研究では,リセット後の膜電位を正確に予測し,学習可能なしきい値に適合する軽量サロゲート動的ネットワークを提案する。
論文 参考訳（メタデータ） (2024-08-27T09:35:49Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳（メタデータ） (2023-07-27T06:59:46Z) - Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。
深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
論文 参考訳（メタデータ） (2023-06-22T04:25:27Z) - Resurrecting Recurrent Neural Networks for Long Sequences [45.800920421868625]
リカレントニューラルネットワーク(RNN)は、長いシーケンスに対する高速な推論を提供するが、最適化が難しく、訓練が遅い。
深部状態空間モデル(SSM)は、最近、長いシーケンスモデリングタスクにおいて非常によく機能することが示されている。
本稿では,信号伝搬の標準的な引数を用いた深部RNNの設計により,長距離推論タスクにおける深部SSMの性能を回復できることを示す。
論文 参考訳（メタデータ） (2023-03-11T08:53:11Z) - Towards Memory- and Time-Efficient Backpropagation for Training Spiking
Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。
本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。
BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文 参考訳（メタデータ） (2023-02-28T05:01:01Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs [1.7969777786551424]
Spiking Neural Networks(SNN)は、複雑なタスクのための魅力的なテンポラルコンピューティングパラダイムビジョンとして登場した。
そこで本研究では,新規な長期記憶ネットワーク(LSTM)の学習フレームワークを提案する。
rev-to-SNN変換フレームワーク、続いてSNNトレーニング。
我々は、時間的M、Google Speech Commands(GSC)データセット、異なるLSTMアーキテクチャ上のUCIスマートフォンなど、逐次学習タスクに関するフレームワークを評価した。
論文 参考訳（メタデータ） (2022-10-23T04:10:27Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。