論文の概要: Three factor delay learning rules for spiking neural networks

• arxiv url: http://arxiv.org/abs/2601.00668v1
• Date: Fri, 02 Jan 2026 12:28:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.566284
• Title: Three factor delay learning rules for spiking neural networks
• Title（参考訳）: スパイクニューラルネットワークの3要素遅延学習規則
• Authors: Luke Vassallo, Nima Taherinejad,
• Abstract要約: シナプスおよび軸索遅延を導入し, リーク・アンド・ファイア(LIF)をベースとしたフィードフォワードとリカレントSNNを統合した。 オンライン上で遅延パラメータを同時に学習するための3つの制約付き学習ルールを提案する。 本研究は、デバイス上での学習を可能にし、メモリ要求を低くすることで、パワーと領域制約のあるニューロモルフィックプロセッサの設計に有効である。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Spiking Neural Networks (SNNs) are dynamical systems that operate on spatiotemporal data, yet their learnable parameters are often limited to synaptic weights, contributing little to temporal pattern recognition. Learnable parameters that delay spike times can improve classification performance in temporal tasks, but existing methods rely on large networks and offline learning, making them unsuitable for real-time operation in resource-constrained environments. In this paper, we introduce synaptic and axonal delays to leaky integrate and fire (LIF)-based feedforward and recurrent SNNs, and propose three-factor learning rules to simultaneously learn delay parameters online. We employ a smooth Gaussian surrogate to approximate spike derivatives exclusively for the eligibility trace calculation, and together with a top-down error signal determine parameter updates. Our experiments show that incorporating delays improves accuracy by up to 20% over a weights-only baseline, and for networks with similar parameter counts, jointly learning weights and delays yields up to 14% higher accuracy. On the SHD speech recognition dataset, our method achieves similar accuracy to offline backpropagation-based approaches. Compared to state-of-the-art methods, it reduces model size by 6.6x and inference latency by 67%, with only a 2.4% drop in classification accuracy. Our findings benefit the design of power and area-constrained neuromorphic processors by enabling on-device learning and lowering memory requirements.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は時空間データを扱う動的システムであるが、学習可能なパラメータはしばしばシナプス重みに制限され、時間的パターン認識にはほとんど寄与しない。 スパイク時間を遅らせる学習可能なパラメータは、時間的タスクの分類性能を改善することができるが、既存の手法は大規模なネットワークとオフライン学習に依存しており、リソース制約のある環境でのリアルタイム操作には適さない。 本稿では, 情報漏洩型統合火災(LIF)に基づくフィードフォワードおよびリカレントSNNに対して, シナプスおよび軸索遅延を導入し, 遅延パラメータをオンラインで同時に学習するための3要素学習ルールを提案する。 我々はスムーズなガウスサロゲートを用いてスパイク微分を近似し、可視性トレース計算にのみ適用し、トップダウンエラー信号でパラメータ更新を決定する。 実験の結果,重みのみのベースラインよりも遅延を組み込むことで精度が最大20%向上し,類似のパラメータ数を持つネットワークの場合,重みと遅延を併用すると最大14%高い精度が得られることがわかった。 SHD音声認識データセットでは,オフラインのバックプロパゲーションに基づく手法と同様の精度で音声認識を行う。 最先端の手法と比較して、モデルサイズを6.6倍、推論遅延を67%削減し、分類精度は2.4%しか低下しない。 本研究は、デバイス上での学習を可能にし、メモリ要求を低くすることで、パワーと領域制約のあるニューロモルフィックプロセッサの設計に有効である。

関連論文リスト

• A Stable Whitening Optimizer for Efficient Neural Network Training [99.7641280234926]
  アルゴリズムのシャンプー系をベースとして,3つの重要な問題を同定・緩和し,SPlus法を提案する。 まず,行列逆が長期にわたってキャッシュされる場合,素早いシャンプーは分岐しがちであることがわかった。 第二に、ネットワーク幅をまたいで学習率の伝達を可能にするために、形状認識スケーリングを適用する。 第3に,高い学習率によってパラメータノイズが大きくなり,より高速な学習をブロックする簡単な反復学習方式を提案する。
  論文  参考訳（メタデータ） (2025-06-08T18:43:31Z)
• Efficient Event-based Delay Learning in Spiking Neural Networks [0.1350479308585481]
  スパイキングニューラルネットワーク(SNN)はスパース通信を用いて計算し、注目を集めている。 本研究では,イベントプロップ形式を基礎とした,遅延を伴うSNNのための新しいイベントベーストレーニング手法を提案する。 提案手法はニューロン毎の複数のスパイクをサポートし,我々の知る限り,繰り返しSNNに適用される最初の遅延学習アルゴリズムである。
  論文  参考訳（メタデータ） (2025-01-13T13:44:34Z)
• DelGrad: Exact event-based gradients for training delays and weights on spiking neuromorphic hardware [1.5226147562426895]
  スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。 我々は,シナプス重みと遅延の両方について,正確な損失勾配を計算するイベントベース手法であるDelGradを提案する。 ノイズの多い混合信号ハードウェア上でSNNに遅延を追加する際のメモリ効率と精度の利点を実験的に示す。
  論文  参考訳（メタデータ） (2024-04-30T00:02:34Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
  TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。 DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。 300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
  論文  参考訳（メタデータ） (2020-07-17T08:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。