論文の概要: Structured State Space Model Dynamics and Parametrization for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2506.06374v2
• Date: Fri, 13 Jun 2025 12:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 15:41:31.151466
• Title: Structured State Space Model Dynamics and Parametrization for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークの構造化状態空間モデルダイナミクスとパラメトリゼーション
• Authors: Maxime Fabre, Lyubov Dudchenko, Emre Neftci,
• Abstract要約: 多状態スパイクニューロンは、従来のディープラーニングモデルに代わる魅力的な代替手段を提供する。 状態空間モデル(SSM)は、スパイキングニューロンのサブスレッショルド状態に類似した線形状態-内在的再発を用いた長いシーケンス処理において優れている。 そこで我々は,SSMと2次スパイキングニューロンモデルの間に数学的ブリッジを確立する。
• 参考スコア（独自算出の注目度）: 0.8321953606016751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-state spiking neurons such as the adaptive leaky integrate-and-fire (AdLIF) neuron offer compelling alternatives to conventional deep learning models thanks to their sparse binary activations, second-order nonlinear recurrent dynamics, and efficient hardware realizations. However, such internal dynamics can cause instabilities during inference and training, often limiting performance and scalability. Meanwhile, state space models (SSMs) excel in long sequence processing using linear state-intrinsic recurrence resembling spiking neurons' subthreshold regime. Here, we establish a mathematical bridge between SSMs and second-order spiking neuron models. Based on structure and parametrization strategies of diagonal SSMs, we propose two novel spiking neuron models. The first extends the AdLIF neuron through timestep training and logarithmic reparametrization to facilitate training and improve final performance. The second additionally brings initialization and structure from complex-state SSMs, broadening the dynamical regime to oscillatory dynamics. Together, our two models achieve beyond or near state-of-the-art (SOTA) performances for reset-based spiking neuron models across both event-based and raw audio speech recognition datasets. We achieve this with a favorable number of parameters and required dynamic memory while maintaining high activity sparsity. Our models demonstrate enhanced scalability in network size and strike a favorable balance between performance and efficiency with respect to SSM models.
• Abstract（参考訳）: アダプティブ・リーク・インテリティー・アンド・ファイア(AdLIF)ニューロンのような多状態スパイキングニューロンは、疎二項活性化、二階非線形リカレントダイナミクス、効率的なハードウェア実現のおかげで、従来のディープラーニングモデルに代わる魅力的な代替手段を提供する。 しかし、そのような内部ダイナミクスは、推論とトレーニングの間に不安定を引き起こし、しばしばパフォーマンスとスケーラビリティを制限します。 一方、状態空間モデル(SSM)は、スパイキングニューロンのサブスレッショルド状態に類似した線形状態-内在的再発を用いた長いシーケンス処理において優れている。 そこで我々は,SSMと2次スパイキングニューロンモデルの間に数学的ブリッジを確立する。 対角SSMの構造とパラメトリゼーション戦略に基づいて、2つの新しいスパイキングニューロンモデルを提案する。 第1の方法は、時間ステップトレーニングと対数的再パラメータ化を通じてAdLIFニューロンを拡張して、トレーニングを容易にし、最終的なパフォーマンスを改善することである。 第二に、複雑な状態のSSMから初期化と構造がもたらされ、動的状態が振動力学へと拡張される。 我々の2つのモデルは、イベントベースおよび生音声音声認識データセットの両方にわたるリセットベースのスパイクニューロンモデルに対して、最先端(SOTA)パフォーマンスの域外あるいは近辺で達成する。 我々は,高活動空間を維持しながら,多くのパラメータと動的メモリを必要とすることでこれを実現した。 我々のモデルは、ネットワークサイズが拡張されたスケーラビリティを示し、SSMモデルに対する性能と効率のバランスを良好に保ちます。

関連論文リスト

• Pendulum Model of Spiking Neurons [0.0]
  そこで本研究では, 減衰・駆動振子の動力学に基づく生物学的刺激によるスパイキングニューロンのモデルを提案する。 本稿では,Spyke-Timing Dependent Plasticity (STDP)学習ルールにより,単一ニューロンの動的解析を行い,モデルをマルチニューロン層に拡張する。
  論文  参考訳（メタデータ） (2025-07-29T18:21:51Z)
• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
  逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。 われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。 本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
  論文  参考訳（メタデータ） (2025-07-15T17:57:48Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Learning to Dissipate Energy in Oscillatory State-Space Models [55.09730499143998]
  状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-17T23:15:17Z)
• SPikE-SSM: A Sparse, Precise, and Efficient Spiking State Space Model for Long Sequences Learning [21.37966285950504]
  スパイキングニューラルネットワーク(SNN)は、生物学的システムのスパイクベースおよびスパースの性質を活用することにより、エネルギー効率のよいソリューションを提供する。 最近の状態空間モデル(SSM)は計算効率とモデリング能力に優れる。 本研究では,SPikE-SSMと呼ばれる,スパースで高精度かつ効率的なスパイクSSMフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-07T12:20:38Z)
• SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models [19.04709216497077]
  長いシーケンス学習のためのスパイキング状態空間モデル(SpikingSSM)を開発した。 樹状ニューロン構造にインスパイアされた我々は、神経力学を元のSSMブロックと階層的に統合する。 そこで本研究では,リセット後の膜電位を正確に予測し,学習可能なしきい値に適合する軽量サロゲート動的ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T09:35:49Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks [1.9775291915550175]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる計算効率が高く生物学的に妥当な代替品として提案されている。 長距離依存タスクのためのスケーラブルな確率的スパイク学習フレームワークを開発した。 我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-05T04:23:11Z)
• Autaptic Synaptic Circuit Enhances Spatio-temporal Predictive Learning of Spiking Neural Networks [23.613277062707844]
  Spiking Neural Networks (SNNs) は、生物学的ニューロンで見られる統合ファイアリーク機構をエミュレートする。 既存のSNNは、主にIntegrate-and-Fire Leaky(LIF)モデルに依存している。 本稿では,S-patioTemporal Circuit (STC) モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-01T11:17:27Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。