論文の概要: DelRec: learning delays in recurrent spiking neural networks

• arxiv url: http://arxiv.org/abs/2509.24852v1
• Date: Mon, 29 Sep 2025 14:38:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.050228
• Title: DelRec: learning delays in recurrent spiking neural networks
• Title（参考訳）: DelRec: 繰り返し発生するスパイクニューラルネットワークにおける学習遅延
• Authors: Alexandre Queant, Ulysse Rançon, Benoit R Cottereau, Timothée Masquelier,
• Abstract要約: スパイキングエネルギーネットワーク(SNN)は、従来の実数値深層学習モデルに代わるバイオインスパイアされた代替品である。 SNNでは、各シナプスは重量だけでなく伝送遅延によっても特徴付けられる。 繰り返しスパイキング層における軸索的遅延やシナプス的遅延をトレーニングする最初のSGLベースの手法である'DelRec'を紹介した。
• 参考スコア（独自算出の注目度）: 44.373421535679476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks (SNNs) are a bio-inspired alternative to conventional real-valued deep learning models, with the potential for substantially higher energy efficiency. Interest in SNNs has recently exploded due to a major breakthrough: surrogate gradient learning (SGL), which allows training SNNs with backpropagation, strongly outperforming other approaches. In SNNs, each synapse is characterized not only by a weight but also by a transmission delay. While theoretical works have long suggested that trainable delays significantly enhance expressivity, practical methods for learning them have only recently emerged. Here, we introduce ''DelRec'', the first SGL-based method to train axonal or synaptic delays in recurrent spiking layers, compatible with any spiking neuron model. DelRec leverages a differentiable interpolation technique to handle non-integer delays with well-defined gradients at training time. We show that trainable recurrent delays outperform feedforward ones, leading to new state-of-the-art (SOTA) on two challenging temporal datasets (Spiking Speech Command, an audio dataset, and Permuted Sequential MNIST, a vision one), and match the SOTA on the now saturated Spiking Heidelberg Digit dataset using only vanilla Leaky-Integrate-and-Fire neurons with stateless (instantaneous) synapses. Our results demonstrate that recurrent delays are critical for temporal processing in SNNs and can be effectively optimized with DelRec, paving the way for efficient deployment on neuromorphic hardware with programmable delays. Our code is available at : https://github.com/alexmaxad/DelRec.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、従来の実数値深層学習モデルのバイオインスパイアされた代替であり、エネルギー効率を大幅に高める可能性がある。 バックプロパゲーションを備えたSNNのトレーニングを可能にするシュロゲート勾配学習(SGL)は、他のアプローチよりも優れている。 SNNでは、各シナプスは重量だけでなく伝送遅延によっても特徴付けられる。 理論的な研究は、訓練可能な遅延が表現性を大幅に向上させることを長い間示唆してきたが、それらを学ぶための実践的な方法が最近現れたばかりである。 本稿では, スパイキング層における軸索, シナプス遅延をトレーニングする最初のSGL法である'DelRec'を紹介し, スパイキングニューロンモデルとの互換性について述べる。 DelRecは、トレーニング時に明確に定義された勾配で非整数遅延を処理するために、微分可能な補間技術を活用する。 トレーニング可能なリカレント遅延はフィードフォワードよりも優れており、音声データセットSpiking Speech CommandとPermuted Sequential MNISTの2つの困難な時間的データセット(音声データセットSpiking Speech Command)に新たなSOTA(State-of-the-art)をもたらし、現在飽和しているスパイキングハイデルバーグ・ディジットデータセットでは、バニラLeaky-Integrate-and-Fireニューロンとステートレス(即時)シナプスのみを用いてSOTAにマッチすることを示す。 以上の結果から,再帰遅延はSNNの時間的処理において重要であり,DelRecで効果的に最適化できることが示され,プログラム可能な遅延を伴うニューロモルフィックハードウェアへの効率的な展開方法が確立された。 私たちのコードは、https://github.com/alexmaxad/DelRec.comで利用可能です。

関連論文リスト

• Efficient Event-based Delay Learning in Spiking Neural Networks [0.1350479308585481]
  スパイキングニューラルネットワーク(SNN)はスパース通信を用いて計算し、注目を集めている。 本研究では,イベントプロップ形式を基礎とした,遅延を伴うSNNのための新しいイベントベーストレーニング手法を提案する。 提案手法はニューロン毎の複数のスパイクをサポートし,我々の知る限り,繰り返しSNNに適用される最初の遅延学習アルゴリズムである。
  論文  参考訳（メタデータ） (2025-01-13T13:44:34Z)
• Learning Delays in Spiking Neural Networks using Dilated Convolutions with Learnable Spacings [1.534667887016089]
  スパイキングニューラルネットワーク(SNN)は、電力効率の高い情報処理システムを構築する上で有望な研究方向である。 SNNでは、1つのスパイクが1つのニューロンから別のニューロンに移動するのに必要な時間を指す。 塑性遅延がSNNの表現性を大幅に向上させることが理論的に示されている。 本稿では,この問題をバックプロパゲーションを用いたディープフィードフォワードSNNで処理する離散時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-30T14:01:53Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。