論文の概要: Efficient Event-based Delay Learning in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2501.07331v3
• Date: Thu, 26 Jun 2025 16:08:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 15:38:00.120111
• Title: Efficient Event-based Delay Learning in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおけるイベントベース遅延学習の効率化
• Authors: Balázs Mészáros, James C. Knight, Thomas Nowotny,
• Abstract要約: スパイキングニューラルネットワーク(SNN)はスパース通信を用いて計算し、注目を集めている。 本研究では,イベントプロップ形式を基礎とした,遅延を伴うSNNのための新しいイベントベーストレーニング手法を提案する。 提案手法はニューロン毎の複数のスパイクをサポートし,我々の知る限り,繰り返しSNNに適用される最初の遅延学習アルゴリズムである。
• 参考スコア（独自算出の注目度）: 0.1350479308585481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) compute using sparse communication and are attracting increased attention as a more energy-efficient alternative to traditional Artificial Neural Networks~(ANNs). While standard ANNs are stateless, spiking neurons are stateful and hence intrinsically recurrent, making them well-suited for spatio-temporal tasks. However, the duration of this intrinsic memory is limited by synaptic and membrane time constants. Delays are a powerful additional mechanism and, in this paper, we propose a novel event-based training method for SNNs with delays, grounded in the EventProp formalism which enables the calculation of exact gradients with respect to weights and delays. Our method supports multiple spikes per neuron and, to the best of our knowledge, is the first delay learning algorithm to be applied to recurrent SNNs. We evaluate our method on a simple sequence detection task, as well as the Yin-Yang, Spiking Heidelberg Digits, Spiking Speech Commands and Braille letter reading datasets, demonstrating that our algorithm can optimise delays from suboptimal initial conditions and enhance classification accuracy compared to architectures without delays. We also find that recurrent delays are particularly beneficial in small networks. Finally, we show that our approach uses less than half the memory of the current state-of-the-art delay-learning method and is up to 26x faster.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)はスパース通信を用いて計算し、従来のニューラルネットワーク(ANN)よりもエネルギー効率の高い代替品として注目を集めている。 標準のANNはステートレスであるが、スパイクニューロンはステートフルであり、本質的にはリカレントであり、時空間的タスクに適している。 しかし、この内在記憶の持続時間はシナプス時間および膜時間定数によって制限される。 遅延は強力な追加メカニズムであり、本論文では、重みと遅延に関する正確な勾配の計算を可能にするEventProp形式に基づく、遅延のあるSNNのための新しいイベントベースのトレーニング手法を提案する。 提案手法はニューロン毎の複数のスパイクをサポートし,我々の知る限り,繰り返しSNNに適用される最初の遅延学習アルゴリズムである。 我々は,簡単なシーケンス検出タスクと,Yin-Yang, Spiking Heidelberg Digits, Spiking Speech Commands, Braille letter reading datasetsを用いて,提案アルゴリズムが最適でない初期条件からの遅延を最適化し,遅延のないアーキテクチャと比較して分類精度を向上させることを実証した。 また、リカレント遅延は特に小さなネットワークで有益であることもわかりました。 最後に,提案手法は現在の最先端遅延学習手法のメモリの半分以下を使用し,最大26倍高速であることを示す。

関連論文リスト

• Canonic Signed Spike Coding for Efficient Spiking Neural Networks [7.524721345903027]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパイキング行動を模倣し、ニューラルコンピューティングと人工知能の進歩において重要な役割を果たすと期待されている。 ANN(Artificial Neural Networks)からSNN(SNN)への変換は最も広く使われているトレーニング手法であり、その結果のSNNが大規模データセット上でANNと同等に動作することを保証する。 現在のスキームは、通常、スパイクカウントまたはタイピングのタイミングを使用しており、これはANNのアクティベーションと線形に関連しており、必要な時間ステップの数を増やす。 我々は新しいCanononic Signed Spike (CSS) 符号化を提案する。
  論文  参考訳（メタデータ） (2024-08-30T12:39:25Z)
• DelGrad: Exact event-based gradients in spiking networks for training delays and weights [1.5226147562426895]
  スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。 我々は,シナプス重みと遅延の両方について,正確な損失勾配を計算するイベントベース手法であるDelGradを提案する。 ノイズの多い混合信号ハードウェア上でSNNに遅延を追加する際のメモリ効率と精度の利点を実験的に示す。
  論文  参考訳（メタデータ） (2024-04-30T00:02:34Z)
• Learning Delays in Spiking Neural Networks using Dilated Convolutions with Learnable Spacings [1.534667887016089]
  スパイキングニューラルネットワーク(SNN)は、電力効率の高い情報処理システムを構築する上で有望な研究方向である。 SNNでは、1つのスパイクが1つのニューロンから別のニューロンに移動するのに必要な時間を指す。 塑性遅延がSNNの表現性を大幅に向上させることが理論的に示されている。 本稿では,この問題をバックプロパゲーションを用いたディープフィードフォワードSNNで処理する離散時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-30T14:01:53Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Adaptive Axonal Delays in feedforward spiking neural networks for accurate spoken word recognition [4.018601183900039]
  スパイキングニューラルネットワーク(SNN)は、正確で効率的な自動音声認識システムを構築するための有望な研究手段である。 近年のオーディオ・ツー・スパイク符号化とトレーニングアルゴリズムの進歩により、SNNを実践的なタスクに適用することが可能になった。 本研究は,複雑な時間構造をもつタスクに対して,軸索遅延を訓練する可能性を示す。
  論文  参考訳（メタデータ） (2023-02-16T22:19:04Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Axonal Delay As a Short-Term Memory for Feed Forward Deep Spiking Neural Networks [3.985532502580783]
  近年の研究では、学習過程において神経細胞の時間遅延が重要な役割を担っていることが判明している。 スパイクの正確なタイミングを設定することは、SNNにおける時間情報の伝達過程を理解し改善するための有望な方向である。 本稿では,教師付き学習に時間遅延を統合することの有効性を検証するとともに,短期記憶による軸索遅延を変調するモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-20T16:56:42Z)
• Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks [5.986408771459261]
  生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。 ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。 RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。 逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
  論文  参考訳（メタデータ） (2021-10-06T15:51:38Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch [5.511606249429581]
  ディープラーニングの代替手段としてスパイキングニューラルネットワーク(SNN)が登場している。 スクラッチからの高精度で低遅延のSNNは、スパイキングニューロンの非分化性の性質に悩まされる。 本稿では、時間的SNNのトレーニングのための時間的バッチ正規化(BNTT)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T00:49:30Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。