論文の概要: SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models
- arxiv url: http://arxiv.org/abs/2408.14909v1
- Date: Tue, 27 Aug 2024 09:35:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 14:13:27.303151
- Title: SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models
- Title（参考訳）: SpikingSSMs: スパースと並列スパイク状態空間モデルによる長いシーケンスの学習
- Authors: Shuaijie Shen, Chao Wang, Renzhuo Huang, Yan Zhong, Qinghai Guo, Zhichao Lu, Jianguo Zhang, Luziwei Leng,
- Abstract要約: 長いシーケンス学習のためのスパイキング状態空間モデル(SpikingSSM)を開発した。
樹状ニューロン構造にインスパイアされた我々は、神経力学を元のSSMブロックと階層的に統合する。
そこで本研究では,リセット後の膜電位を正確に予測し,学習可能なしきい値に適合する軽量サロゲート動的ネットワークを提案する。
- 参考スコア（独自算出の注目度）: 19.04709216497077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Known as low energy consumption networks, spiking neural networks (SNNs) have gained a lot of attention within the past decades. While SNNs are increasing competitive with artificial neural networks (ANNs) for vision tasks, they are rarely used for long sequence tasks, despite their intrinsic temporal dynamics. In this work, we develop spiking state space models (SpikingSSMs) for long sequence learning by leveraging on the sequence learning abilities of state space models (SSMs). Inspired by dendritic neuron structure, we hierarchically integrate neuronal dynamics with the original SSM block, meanwhile realizing sparse synaptic computation. Furthermore, to solve the conflict of event-driven neuronal dynamics with parallel computing, we propose a light-weight surrogate dynamic network which accurately predicts the after-reset membrane potential and compatible to learnable thresholds, enabling orders of acceleration in training speed compared with conventional iterative methods. On the long range arena benchmark task, SpikingSSM achieves competitive performance to state-of-the-art SSMs meanwhile realizing on average 90\% of network sparsity. On language modeling, our network significantly surpasses existing spiking large language models (spikingLLMs) on the WikiText-103 dataset with only a third of the model size, demonstrating its potential as backbone architecture for low computation cost LLMs.
- Abstract（参考訳）: エネルギー消費の低いネットワークとして知られる、スパイクニューラルネットワーク(SNN)は、過去数十年で多くの注目を集めている。
SNNは、視覚タスクのための人工知能ニューラルネットワーク(ANN)と競合する傾向にあるが、その固有の時間的ダイナミクスにもかかわらず、長いシーケンスタスクに使用されることは滅多にない。
本研究では、状態空間モデル(SSM)のシーケンス学習能力を利用して、長いシーケンス学習のためのスパイキング状態空間モデル(SpikingSSM)を開発する。
樹状ニューロン構造にインスパイアされた我々は、神経力学を元のSSMブロックと階層的に統合し、スパースシナプス計算を実現した。
さらに、イベント駆動型神経力学と並列計算との競合を解決するために、リセット後の膜電位を正確に予測し、学習可能なしきい値に適合する軽量サロゲート動的ネットワークを提案する。
長距離アリーナベンチマークタスクでは、SpikeSSMは最先端のSSMと競合する性能を達成し、一方、平均90%のネットワーク幅で実現している。
言語モデリングでは、WikiText-103データセット上の既存のスパイキング大言語モデル(LLM)をわずか3分の1のモデルサイズで大幅に上回り、低計算コストLLMのバックボーンアーキテクチャとしての可能性を示している。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - SPikE-SSM: A Sparse, Precise, and Efficient Spiking State Space Model for Long Sequences Learning [21.37966285950504]
スパイキングニューラルネットワーク(SNN)は、生物学的システムのスパイクベースおよびスパースの性質を活用することにより、エネルギー効率のよいソリューションを提供する。
最近の状態空間モデル(SSM)は計算効率とモデリング能力に優れる。
本研究では,SPikE-SSMと呼ばれる,スパースで高精度かつ効率的なスパイクSSMフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-07T12:20:38Z) - P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks [1.9775291915550175]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる計算効率が高く生物学的に妥当な代替品として提案されている。
長距離依存タスクのためのスケーラブルな確率的スパイク学習フレームワークを開発した。
我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
論文 参考訳（メタデータ） (2024-06-05T04:23:11Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Learning Long Sequences in Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために、脳からインスピレーションを得ている。
トランスフォーマーの効率的な代替品に対する近年の関心は、状態空間モデル(SSM)と呼ばれる最先端の繰り返しアーキテクチャの台頭をもたらした。
論文 参考訳（メタデータ） (2023-12-14T13:30:27Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Finite Meta-Dynamic Neurons in Spiking Neural Networks for
Spatio-temporal Learning [13.037452551907657]
Spiking Neural Networks (SNN) は、生物学的に証明可能な構造と学習原則を取り入れている。
時相学習におけるネットワークの一般化を改善するために,SNNを改善するメタ動的ニューロン(MDN)を提案する。
MDNは空間的(MNIST)と時間的(TIt)データセットから生成され、その後様々な時間的タスクに拡張された。
論文 参考訳（メタデータ） (2020-10-07T03:49:28Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal
Learning of Deep Spiking Neural Network [7.503685643036081]
空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。
ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。
本稿では,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-19T01:27:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。