論文の概要: Spiking and Event-driven Neuromorphic Mamba Models for Efficient Speech Recognition

• arxiv url: http://arxiv.org/abs/2606.01135v1
• Date: Sun, 31 May 2026 10:15:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.272269
• Title: Spiking and Event-driven Neuromorphic Mamba Models for Efficient Speech Recognition
• Title（参考訳）: 効率的な音声認識のためのスパイキングとイベント駆動型ニューロモルフィックマンバモデル
• Authors: Tauseef Ahmed, Tao Sun, Jeronimo Castrillon, Kanishkan Vadivel, Guangzhi Tang,
• Abstract要約: 本稿では,音声認識システムの活性化空間性を改善するために,スパイキングと事象駆動型ニューロモルフィックニューラルネットワークについて検討する。 本稿では,FATReLUをアクティベートしたイベント駆動型SpeechMambaを導入し,LibriSpeechの精度1%未満で60%以上のアクティベーション間隔を実現した。 また、SNNよりも30%少ないパラメータを使用しながら、70%以上のスパシティを実現するスポーキング型SpeechMambaを提案する。
• 参考スコア（独自算出の注目度）: 3.2896590752581285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has greatly advanced automatic speech recognition (ASR), enabling widespread deployment on edge devices such as smartphones and smart home systems. However, the computational and energy demands of deep neural networks pose significant challenges for such resource-constrained deployments, introducing latency and limiting real-time interaction. Neuromorphic computing offers a promising solution by introducing activation sparsity through spiking neural networks (SNNs) and event-driven neural networks, converting dense operations into sparse computations. However, a study that evaluates the hardware benefits of different neuromorphic strategies remains lacking for ASR. This paper explores spiking and event-driven neuromorphic neural networks to improve activation sparsity in the state-of-the-art SpeechMamba model for ASR. We introduce an event-driven SpeechMamba with FATReLU activation, achieving over 60% activation sparsity with less than 1% accuracy degradation on LibriSpeech. We also propose a spiking SpeechMamba that attains over 70% sparsity while using 30% fewer parameters than comparable SNNs. Finally, we develop a cycle-accurate event-driven simulator enabling flexible algorithm-hardware co-exploration, which helps us identify computational bottlenecks and yields over 10% additional efficiency improvements.
• Abstract（参考訳）: ディープラーニングは、スマートフォンやスマートホームシステムといったエッジデバイスへの広範な展開を可能にする、大幅に進歩した自動音声認識(ASR)を備えている。 しかし、ディープニューラルネットワークの計算とエネルギーの要求は、そのようなリソース制限されたデプロイメントに重大な課題をもたらし、レイテンシを導入し、リアルタイムのインタラクションを制限する。 ニューロモルフィックコンピューティングは、スパイクニューラルネットワーク(SNN)とイベント駆動ニューラルネットワークを通じてアクティベーション空間を導入し、密度の高い演算をスパース計算に変換することで、有望なソリューションを提供する。 しかし、異なるニューロモルフィック戦略のハードウェアの利点を評価する研究は、ASRにはまだ欠けている。 本稿では、ASRのための最先端のSpeechMambaモデルにおいて、スパイキングと事象駆動型ニューロモルフィックニューラルネットワークを用いて、アクティベーション間隔を改善することを提案する。 本稿では,FATReLUをアクティベートしたイベント駆動型SpeechMambaを導入し,LibriSpeechの精度1%未満で60%以上のアクティベーション間隔を実現した。 また、SNNよりも30%少ないパラメータを使用しながら、70%以上のスパシティを実現するスポーキング型SpeechMambaを提案する。 最後に、フレキシブルなアルゴリズム・ハードウェア共同探索を可能にするサイクル精度のイベント駆動シミュレータを開発し、計算のボトルネックを特定し、10%以上の効率改善を得られるようにした。

関連論文リスト

• Neural Dynamics Self-Attention for Spiking Transformers [59.57278823240336]
  TransformerアーキテクチャによるSNN(Spike Neural Networks)は、エネルギー効率とパフォーマンスのバランスをとるための、有望な経路を提供する。 既存のスパイキングトランスフォーマーは、(i)ニューラルネットワーク(ANN)と(ii)推論時の高メモリオーバーヘッドと比較して、大幅なパフォーマンスギャップがあるという2つの重要な課題に直面している。 本稿では、局所受容野を持つスパイキングニューロンを用いて、メモリ要求を減らしながら注意を計算するLRF-Dynを提案する。
  論文  参考訳（メタデータ） (2026-03-09T12:23:37Z)
• Adaptively Pruned Spiking Neural Networks for Energy-Efficient Intracortical Neural Decoding [0.06181089784338582]
  ニューロモルフィックハードウェア上でのニューラルネットワーク(SNN)のスパイキングは、ニューラルデコーディングにおいて顕著な効率性を示している。 本稿では,脳皮質内神経復号をターゲットとした,高アクティベーション領域を有するSNNを対象とした適応型プルーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-15T19:16:34Z)
• Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks [86.28783985254431]
  従来の人工ニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 本稿では,AID,DOTA,DIORなどのリモートセンシングベンチマークにおいて,最先端の性能を実現するSpikeSRを提案する。
  論文  参考訳（メタデータ） (2025-03-06T09:06:06Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.5148788595166205]
  本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。 私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
  論文  参考訳（メタデータ） (2023-11-13T08:18:44Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。