論文の概要: Rethinking Spiking Neural Networks as State Space Models

• arxiv url: http://arxiv.org/abs/2406.02923v1
• Date: Wed, 5 Jun 2024 04:23:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:59:32.905543
• Title: Rethinking Spiking Neural Networks as State Space Models
• Title（参考訳）: スパイクニューラルネットワークを状態空間モデルとして再考
• Authors: Malyaban Bal, Abhronil Sengupta,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる生物学的に妥当な代替品として提案されている。 状態空間モデルに基づく新しいスパイキング神経モデルについて述べる。 我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 1.9775291915550175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks (SNNs) are posited as a biologically plausible alternative to conventional neural architectures, with their core computational framework resting on the extensively studied leaky integrate-and-fire (LIF) neuron design. The stateful nature of LIF neurons has spurred ongoing discussions about the ability of SNNs to process sequential data, akin to recurrent neural networks (RNNs). Despite this, there remains a significant gap in the exploration of current SNNs within the realm of long-range dependency tasks. In this study, to extend the analysis of neuronal dynamics beyond simplistic LIF mechanism, we present a novel class of stochastic spiking neuronal model grounded in state space models. We expand beyond the scalar hidden state representation of LIF neurons, which traditionally comprises only the membrane potential, by proposing an n-dimensional hidden state. Additionally, we enable fine-tuned formulation of neuronal dynamics across each layer by introducing learnable parameters, as opposed to the fixed dynamics in LIF neurons. We also develop a robust framework for scaling these neuronal models to deep SNN-based architectures, ensuring efficient parallel training while also adeptly addressing the challenge of non-differentiability of stochastic spiking operation during the backward phase. Our models attain state-of-the-art performance among SNN models across diverse long-range dependency tasks, encompassing the Long Range Arena benchmark, permuted sequential MNIST, and the Speech Command dataset. Moreover, we provide an analysis of the energy efficiency advantages, emphasizing the sparse activity pattern intrinsic to this spiking model.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、従来のニューラルアーキテクチャに代わる生物学的に妥当な代替品として提案されており、そのコアとなる計算フレームワークは、広範囲に研究されているインテリジェンス・アンド・ファイア(LIF)ニューロンの設計に依存している。 LIFニューロンのステートフルな性質は、リカレントニューラルネットワーク(RNN)と同様に、SNNがシーケンシャルなデータを処理する能力について、現在進行中の議論を引き起こしている。 それにもかかわらず、長距離依存タスクの領域において、現在のSNNの探索には大きなギャップが残っている。 本研究では, 単純なLIF機構を超えて神経力学の解析を拡張するために, 状態空間モデルに基づく新しい確率的スパイキング神経モデルを提案する。 我々は従来の膜電位のみを含むLIFニューロンのスカラー隠れ状態表現を超えて、n次元隠れ状態を提案する。 さらに、LIFニューロンの固定ダイナミクスとは対照的に、学習可能なパラメータを導入することにより、各層にまたがるニューロンダイナミクスの微調整が可能となる。 また,これらのニューラルネットワークモデルを深部SNNアーキテクチャに拡張し,効率的な並列トレーニングを実現するとともに,後方フェーズにおける確率的スパイク操作の非微分可能性の課題にも着目する。 我々のモデルは、Long Range Arenaベンチマーク、順列MNIST、音声コマンドデータセットを含む、様々な長距離依存タスクにわたるSNNモデル間の最先端性能を実現する。 さらに、このスパイキングモデルに固有のスパース活動パターンを強調し、エネルギー効率の利点を分析する。

関連論文リスト

• SPikE-SSM: A Sparse, Precise, and Efficient Spiking State Space Model for Long Sequences Learning [21.37966285950504]
  スパイキングニューラルネットワーク(SNN)は、生物学的システムのスパイクベースおよびスパースの性質を活用することにより、エネルギー効率のよいソリューションを提供する。 最近の状態空間モデル(SSM)は計算効率とモデリング能力に優れる。 本研究では,SPikE-SSMと呼ばれる,スパースで高精度かつ効率的なスパイクSSMフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-07T12:20:38Z)
• SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models [19.04709216497077]
  長いシーケンス学習のためのスパイキング状態空間モデル(SpikingSSM)を開発した。 樹状ニューロン構造にインスパイアされた我々は、神経力学を元のSSMブロックと階層的に統合する。 そこで本研究では,リセット後の膜電位を正確に予測し,学習可能なしきい値に適合する軽量サロゲート動的ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T09:35:49Z)
• EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks [14.046487518350792]
  スパイキングニューラルネットワーク(SNN)は、スパーススパイク通信を通じてイベント駆動の操作を行う。 本稿では,Residual potential Dropout (RPD) と Spike-Aware Training (SAT) を導入する。 我々の方法では、Gen1データセットで4.4%のmAP改善が得られ、パラメータは38%減少し、3つのタイムステップしか必要としない。
  論文  参考訳（メタデータ） (2024-03-19T09:34:11Z)
• Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding [32.25788551849627]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。 本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-29T09:33:10Z)
• TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling [54.97005925277638]
  潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。 SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。 そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-25T08:54:41Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning [9.88508686848173]
  内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。 ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。 本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:20:16Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。