論文の概要: Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time

• arxiv url: http://arxiv.org/abs/2112.11231v1
• Date: Mon, 20 Dec 2021 13:44:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 01:21:46.427889
• Title: Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time
• Title（参考訳）: Forward Propagation Through Timeによる動的スパイクニューラルネットワークの正確なオンライントレーニング
• Authors: Bojian Yin, Federico Corradi, Sander M. Bohte
• Abstract要約: 最近開発されたBPTTの代替手段が、スパイクニューラルネットワークにどのように適用できるかを示す。 FPTTは、損失に対する動的に規則化されたリスクを最小化しようとする。 FPTTで訓練したSNNは、オンラインBPTT近似よりも優れており、時間的分類タスクにおいてオフラインBPTT精度に近づいたり、超えたりしている。
• 参考スコア（独自算出の注目度）: 1.8515971640245998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The event-driven and sparse nature of communication between spiking neurons in the brain holds great promise for flexible and energy-efficient AI. Recent advances in learning algorithms have demonstrated that recurrent networks of spiking neurons can be effectively trained to achieve competitive performance compared to standard recurrent neural networks. Still, as these learning algorithms use error-backpropagation through time (BPTT), they suffer from high memory requirements, are slow to train, and are incompatible with online learning. This limits the application of these learning algorithms to relatively small networks and to limited temporal sequence lengths. Online approximations to BPTT with lower computational and memory complexity have been proposed (e-prop, OSTL), but in practice also suffer from memory limitations and, as approximations, do not outperform standard BPTT training. Here, we show how a recently developed alternative to BPTT, Forward Propagation Through Time (FPTT) can be applied in spiking neural networks. Different from BPTT, FPTT attempts to minimize an ongoing dynamically regularized risk on the loss. As a result, FPTT can be computed in an online fashion and has fixed complexity with respect to the sequence length. When combined with a novel dynamic spiking neuron model, the Liquid-Time-Constant neuron, we show that SNNs trained with FPTT outperform online BPTT approximations, and approach or exceed offline BPTT accuracy on temporal classification tasks. This approach thus makes it feasible to train SNNs in a memory-friendly online fashion on long sequences and scale up SNNs to novel and complex neural architectures.
• Abstract（参考訳）: 脳内のスパイクニューロン間の通信のイベント駆動的かつ疎結合性は、柔軟性とエネルギー効率のよいAIを大いに約束する。 近年の学習アルゴリズムの進歩により、スパイキングニューロンのリカレントネットワークは、標準のリカレントニューラルネットワークと比較して競合性能を達成するために効果的に訓練可能であることが示されている。 それでも、これらの学習アルゴリズムは時間によるエラーバックプロパゲーション(BPTT)を使用するため、高いメモリ要求に悩まされ、トレーニングが遅く、オンライン学習と互換性がない。 これにより、これらの学習アルゴリズムの比較的小さなネットワークや時間的シーケンス長への適用が制限される。 計算量やメモリの複雑さが低いbpttへのオンライン近似(e-prop, ostl)が提案されているが、実際にはメモリの制限や近似として標準的なbpttトレーニングを上回らない。 本稿では、最近開発されたBPTTの代替として、FPTT(Forward Propagation Through Time)をスパイクニューラルネットワークに適用する方法を示す。 BPTTとは異なり、FPTTは損失に対する動的に規則化されたリスクを最小化しようとする。 その結果、FPTTはオンライン形式で計算でき、シーケンス長に関して一定の複雑性を持つ。 新たな動的スパイクニューロンモデルであるLiquid-Time-Constantneurnと組み合わせることで、FPTTで訓練されたSNNがオンラインBPTT近似より優れ、時間的分類タスクにおいてオフラインBPTT精度に近づいたり、超えたりすることを示す。 このアプローチにより、長いシーケンスでSNNをメモリフレンドリーなオンラインスタイルでトレーニングし、新しい複雑なニューラルネットワークアーキテクチャにSNNをスケールアップすることが可能になる。

関連論文リスト

• TESS: A Scalable Temporally and Spatially Local Learning Rule for Spiking Neural Networks [6.805933498669221]
  リソース制約のあるデバイス上でのニューラルネットワーク(SNN)のトレーニングは、高い計算とメモリ要求のため、依然として困難である。 本稿では,SNNの学習のための時間的・空間的学習ルールであるTESSを紹介する。 本手法は,各ニューロン内の局所的な信号にのみ依存することにより,時間的および空間的クレジット割り当てに対処する。
  論文  参考訳（メタデータ） (2025-02-03T21:23:15Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Online Spatio-Temporal Learning in Deep Neural Networks [1.6624384368855523]
  オンライン学習は、最近研究コミュニティの注目を集め、BPTTを近似するアプローチや、SNNに適用する生物学的に有望なスキームに焦点をあてている。 ここでは、空間的および時間的勾配成分の明確な分離に基づく別の視点を示す。 私たちは、オンラインスパイキング時間学習(OSTL)という、深層SNNのための新しいオンライン学習アルゴリズムの第一原理から派生した。 浅いネットワークの場合、OSTLはBPTTと同等の勾配であり、BPTT同値勾配を持つSNNのオンライントレーニングを初めて行うことができる。さらに、提案された定式化はSNNアーキテクチャのクラスを公開する。
  論文  参考訳（メタデータ） (2020-07-24T18:10:18Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks [14.992756670960008]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率の良いイベント駆動ニューロモルフィックプロセッサの計算と実装に適している。 深部SNNを訓練するためのTSSL-BP(Temporal Spike Sequence Learning Backpropagation)法を提案する。
  論文  参考訳（メタデータ） (2020-02-24T05:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。