論文の概要: SHaRe-SSM: An Oscillatory Spiking Neural Network for Target Variable Modeling in Long Sequences

• arxiv url: http://arxiv.org/abs/2510.14386v1
• Date: Thu, 16 Oct 2025 07:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.761186
• Title: SHaRe-SSM: An Oscillatory Spiking Neural Network for Target Variable Modeling in Long Sequences
• Title（参考訳）: SHaRe-SSM:ロングシーケンスにおけるターゲット可変モデリングのための振動スパイクニューラルネットワーク
• Authors: Kartikay Agrawal, Abhijeet Vikram, Vedant Sharma, Vaishnavi N., Ayon Borthakur,
• Abstract要約: 状態空間モデル(SSM)は、長いシーケンスのターゲットモデリングのためのトランスフォーマーの強力な代替品として進化してきた。 我々は,SHaRe-SSMをターゲット変数モデリング(分類と回帰の両方を含む)のために設計する。 我々のネットワークは、エネルギー効率が著しく高い50kのシーケンスでも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In recent years, with the emergence of large models, there has been a significant interest in spiking neural networks (SNNs) primarily due to their energy efficiency, multiplication-free, and sparse event-based deep learning. Similarly, state space models (SSMs) in varying designs have evolved as a powerful alternative to transformers for target modeling in long sequences, thereby overcoming the quadratic dependence on sequence length of a transformer. Inspired by this progress, we here design SHaRe-SSM (Spiking Harmonic Resonate and Fire State Space Model), for target variable modeling (including both classification and regression) for very-long-range sequences. Our second-order spiking SSM, on average, performs better than transformers or first-order SSMs while circumventing multiplication operations, making it ideal for resource-constrained applications. The proposed block consumes $73 \times$ less energy than second-order ANN-based SSMs for an 18k sequence, while retaining performance. To ensure learnability over the long-range sequences, we propose exploiting the stable and efficient implementation of the dynamical system using parallel scans. Moreover, for the first time, we propose a kernel-based spiking regressor using resonate and fire neurons for very long-range sequences. Our network shows superior performance on even a 50k sequence while being significantly energy-efficient. In addition, we conducted a systematic analysis of the impact of heterogeneity, dissipation, and conservation in resonate-and-fire SSMs.
• Abstract（参考訳）: 近年、大規模なモデルが出現し、そのエネルギー効率、乗算不要、スパースイベントベースのディープラーニングが主な原因で、ニューラルネットワーク(SNN)のスパイクに大きな関心が寄せられている。 同様に、様々な設計における状態空間モデル(SSM)は、長い列のターゲットモデリングのための変換器の強力な代替品として進化し、変換器のシーケンス長に対する二次的依存を克服している。 そこで本研究では,SHaRe-SSM(Spiking Harmonic Resonate and Fire State Space Model)を設計し,超長距離シーケンスに対する目標変数モデリング(分類と回帰の両方を含む)を行う。 我々の2次スパイクSSMは、平均して、乗算操作を回避しながら、トランスフォーマーや1次SSMよりも性能が良く、リソース制約のあるアプリケーションに最適です。 提案したブロックは、性能を保ちながら、2階ANNベースのSSMよりも7,3 \times$少ないエネルギーを消費する。 長距離シーケンス上での学習性を確保するため,並列スキャンを用いた動的システムの安定かつ効率的な実装を提案する。 さらに,共振器と発火ニューロンを用いたカーネルベースのスパイクレグレクタを,非常に長い範囲のシーケンスに対して初めて提案する。 我々のネットワークは、エネルギー効率が著しく高い50kのシーケンスでも優れた性能を示す。 さらに, 共振器内SSMの異種性, 消散, 保存効果の系統的解析を行った。

関連論文リスト

• Systolic Array-based Accelerator for Structured State-Space Models [1.137896937254823]
  State-Space Models (SSM) は非常に長いデータシーケンスをリカレントやトランスフォーマーベースのモデルよりも効率的に処理する。 本稿では,SSMの高速化を目的としたハードウェアアクセラレータEpochCoreを紹介する。 EpochCoreは、GPUと比較してLRAデータセットの平均2000倍のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-07-29T00:01:57Z)
• Oscillatory State-Space Models [61.923849241099184]
  長いシーケンスを効率的に学習するための線形状態空間モデル(LinOSS)を提案する。 高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。 我々はLinOSSが普遍であること、すなわち時間変化関数間の連続および因果作用素写像を近似できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T22:00:13Z)
• PRF: Parallel Resonate and Fire Neuron for Long Sequence Learning in Spiking Neural Networks [6.545474731089018]
  スパイキングニューラルネットワーク(SNN)における長周期学習の効率性と性能の課題を同時に解決する。 まず,典型的なLeaky Integrate-and-Fire(LIF)モデルのトレーニング時間を$O(L2)$から$O(Llog L)$に短縮する。 第二に、長距離依存性を捉えるために、複素領域における微分可能リセット関数から共振機構によって駆動される振動膜電位を利用するパラレル共鳴・火災ニューロン(PRF)を提案する。
  論文  参考訳（メタデータ） (2024-10-04T15:51:56Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
  ConvS5は、長距離時間モデリングのための効率的な変種である。 トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-10-30T16:11:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。