論文の概要: A Scalable Hybrid Training Approach for Recurrent Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2506.14464v1
• Date: Tue, 17 Jun 2025 12:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.467201
• Title: A Scalable Hybrid Training Approach for Recurrent Spiking Neural Networks
• Title（参考訳）: リカレントスパイキングニューラルネットワークのためのスケーラブルハイブリッドトレーニング手法
• Authors: Maximilian Baronig, Yeganeh Bahariasl, Ozan Özdenizci, Robert Legenstein,
• Abstract要約: 本稿では、並列化の効率と近似オンライン前方学習を組み合わせたHYPR(HYbrid PRopagation)を提案する。 HYPRは、ほぼ任意の非線形スパイキングニューロンモデルからなるRSNNのサブシーケンスに対するパラメータ更新の並列化を可能にする。 このタイプのニューロンモデルは、HYPRにより特に訓練可能であり、前向き勾配学習とBPTTの間には、前例のない低いタスク性能のギャップが生じることが判明した。
• 参考スコア（独自算出の注目度）: 13.220581846415957
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recurrent spiking neural networks (RSNNs) can be implemented very efficiently in neuromorphic systems. Nevertheless, training of these models with powerful gradient-based learning algorithms is mostly performed on standard digital hardware using Backpropagation through time (BPTT). However, BPTT has substantial limitations. It does not permit online training and its memory consumption scales linearly with the number of computation steps. In contrast, learning methods using forward propagation of gradients operate in an online manner with a memory consumption independent of the number of time steps. These methods enable SNNs to learn from continuous, infinite-length input sequences. Yet, slow execution speed on conventional hardware as well as inferior performance has hindered their widespread application. In this work, we introduce HYbrid PRopagation (HYPR) that combines the efficiency of parallelization with approximate online forward learning. Our algorithm yields high-throughput online learning through parallelization, paired with constant, i.e., sequence length independent, memory demands. HYPR enables parallelization of parameter update computation over the sub sequences for RSNNs consisting of almost arbitrary non-linear spiking neuron models. We apply HYPR to networks of spiking neurons with oscillatory subthreshold dynamics. We find that this type of neuron model is particularly well trainable by HYPR, resulting in an unprecedentedly low task performance gap between approximate forward gradient learning and BPTT.
• Abstract（参考訳）: リカレントスパイキングニューラルネットワーク(RSNN)は、ニューロモルフィックシステムにおいて非常に効率的に実装できる。 それでも、これらのモデルを強力な勾配に基づく学習アルゴリズムでトレーニングすることは、主に時間によるバックプロパゲーション(BPTT)を用いて標準的なデジタルハードウェア上で実行される。 しかし、BPTTにはかなりの制限がある。 オンライントレーニングを許可せず、そのメモリ消費は計算ステップの数とともに線形にスケールする。 対照的に、勾配の前方伝播を用いた学習方法は、時間ステップの数によらず、メモリ消費をオンラインで行う。 これらの手法により、SNNは連続して無限長の入力シーケンスから学習することができる。 しかし、従来のハードウェアでの実行速度の遅さや性能の低下は、その普及を妨げている。 本研究では、並列化の効率と近似オンライン前方学習を組み合わせたHYPR(HYbrid PRopagation)を提案する。 本アルゴリズムは並列化による高スループットオンライン学習を実現する。 HYPRは、ほぼ任意の非線形スパイクニューロンモデルからなるRSNNのサブシーケンス上でのパラメータ更新計算の並列化を可能にする。 我々は、発振サブスレッショルドダイナミクスを持つスパイキングニューロンのネットワークにHYPRを適用した。 このタイプのニューロンモデルは、HYPRにより特に訓練可能であり、前向き勾配学習とBPTTの間には、前例のない低いタスク性能のギャップが生じることが判明した。

関連論文リスト

• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
  スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。 スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。 提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
  論文  参考訳（メタデータ） (2024-09-08T05:14:22Z)
• Neuromorphic Online Learning for Spatiotemporal Patterns with a Forward-only Timeline [5.094970748243019]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、高エネルギー効率のバイオプレースブルコンピューティングモデルである。 BPTT(Back Proagation Through Time)は、伝統的にSNNのトレーニングに使用される。 SNNのオンライン学習に特化して設計されたSOLSA(Spatiotemporal Online Learning for Synaptic Adaptation)を提案する。
  論文  参考訳（メタデータ） (2023-07-21T02:47:03Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time [1.8515971640245998]
  最近開発されたBPTTの代替手段が、スパイクニューラルネットワークにどのように適用できるかを示す。 FPTTは、損失に対する動的に規則化されたリスクを最小化しようとする。 FPTTで訓練したSNNは、オンラインBPTT近似よりも優れており、時間的分類タスクにおいてオフラインBPTT精度に近づいたり、超えたりしている。
  論文  参考訳（メタデータ） (2021-12-20T13:44:20Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。