論文の概要: Structured State Space Model Dynamics and Parametrization for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2506.06374v1
• Date: Wed, 04 Jun 2025 13:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.238981
• Title: Structured State Space Model Dynamics and Parametrization for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークの構造化状態空間モデルダイナミクスとパラメトリゼーション
• Authors: Maxime Fabre, Lyubov Dudchenko, Emre Neftci,
• Abstract要約: 多状態スパイクニューロンは、従来のディープラーニングモデルに代わる魅力的な代替手段を提供する。 状態空間モデル(SSM)は、スパイキングニューロンのサブスレッショルド状態に類似した線形状態-内在的再発を用いた長いシーケンス処理において優れている。 そこで我々は,SSMと2次スパイキングニューロンモデルの間に数学的ブリッジを確立する。
• 参考スコア（独自算出の注目度）: 0.8321953606016751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-state spiking neurons such as the adaptive leaky integrate-and-fire (AdLIF) neuron offer compelling alternatives to conventional deep learning models thanks to their sparse binary activations, second-order nonlinear recurrent dynamics, and efficient hardware realizations. However, such internal dynamics can cause instabilities during inference and training, often limiting performance and scalability. Meanwhile, state space models (SSMs) excel in long sequence processing using linear state-intrinsic recurrence resembling spiking neurons' subthreshold regime. Here, we establish a mathematical bridge between SSMs and second-order spiking neuron models. Based on structure and parametrization strategies of diagonal SSMs, we propose two novel spiking neuron models. The first extends the AdLIF neuron through timestep training and logarithmic reparametrization to facilitate training and improve final performance. The second additionally brings initialization and structure from complex-state SSMs, broadening the dynamical regime to oscillatory dynamics. Together, our two models achieve beyond or near state-of-the-art (SOTA) performances for reset-based spiking neuron models across both event-based and raw audio speech recognition datasets. We achieve this with a favorable number of parameters and required dynamic memory while maintaining high activity sparsity. Our models demonstrate enhanced scalability in network size and strike a favorable balance between performance and efficiency with respect to SSM models.
• Abstract（参考訳）: アダプティブ・リーク・インテリティー・アンド・ファイア(AdLIF)ニューロンのような多状態スパイキングニューロンは、疎二項活性化、二階非線形リカレントダイナミクス、効率的なハードウェア実現のおかげで、従来のディープラーニングモデルに代わる魅力的な代替手段を提供する。 しかし、そのような内部ダイナミクスは、推論とトレーニングの間に不安定を引き起こし、しばしばパフォーマンスとスケーラビリティを制限します。 一方、状態空間モデル(SSM)は、スパイキングニューロンのサブスレッショルド状態に類似した線形状態-内在的再発を用いた長いシーケンス処理において優れている。 そこで我々は,SSMと2次スパイキングニューロンモデルの間に数学的ブリッジを確立する。 対角SSMの構造とパラメトリゼーション戦略に基づいて、2つの新しいスパイキングニューロンモデルを提案する。 第1の方法は、時間ステップトレーニングと対数的再パラメータ化を通じてAdLIFニューロンを拡張して、トレーニングを容易にし、最終的なパフォーマンスを改善することである。 第二に、複雑な状態のSSMから初期化と構造がもたらされ、動的状態が振動力学へと拡張される。 我々の2つのモデルは、イベントベースおよび生音声音声認識データセットの両方にわたるリセットベースのスパイクニューロンモデルに対して、最先端(SOTA)パフォーマンスの域外あるいは近辺で達成する。 我々は,高活動空間を維持しながら,多くのパラメータと動的メモリを必要とすることでこれを実現した。 我々のモデルは、ネットワークサイズが拡張されたスケーラビリティを示し、SSMモデルに対する性能と効率のバランスを良好に保ちます。

関連論文リスト

• Learning to Dissipate Energy in Oscillatory State-Space Models [55.09730499143998]
  状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-17T23:15:17Z)
• SPikE-SSM: A Sparse, Precise, and Efficient Spiking State Space Model for Long Sequences Learning [21.37966285950504]
  スパイキングニューラルネットワーク(SNN)は、生物学的システムのスパイクベースおよびスパースの性質を活用することにより、エネルギー効率のよいソリューションを提供する。 最近の状態空間モデル(SSM)は計算効率とモデリング能力に優れる。 本研究では,SPikE-SSMと呼ばれる,スパースで高精度かつ効率的なスパイクSSMフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-07T12:20:38Z)
• SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models [19.04709216497077]
  長いシーケンス学習のためのスパイキング状態空間モデル(SpikingSSM)を開発した。 樹状ニューロン構造にインスパイアされた我々は、神経力学を元のSSMブロックと階層的に統合する。 そこで本研究では,リセット後の膜電位を正確に予測し,学習可能なしきい値に適合する軽量サロゲート動的ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T09:35:49Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks [1.9775291915550175]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる計算効率が高く生物学的に妥当な代替品として提案されている。 長距離依存タスクのためのスケーラブルな確率的スパイク学習フレームワークを開発した。 我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-05T04:23:11Z)
• Autaptic Synaptic Circuit Enhances Spatio-temporal Predictive Learning of Spiking Neural Networks [23.613277062707844]
  Spiking Neural Networks (SNNs) は、生物学的ニューロンで見られる統合ファイアリーク機構をエミュレートする。 既存のSNNは、主にIntegrate-and-Fire Leaky(LIF)モデルに依存している。 本稿では,S-patioTemporal Circuit (STC) モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-01T11:17:27Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。