論文の概要: Traces Propagation: Memory-Efficient and Scalable Forward-Only Learning in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2509.13053v1
• Date: Tue, 16 Sep 2025 13:11:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:53.1003
• Title: Traces Propagation: Memory-Efficient and Scalable Forward-Only Learning in Spiking Neural Networks
• Title（参考訳）: トレース伝搬:スパイクニューラルネットワークにおけるメモリ効率が高くスケーラブルなフォワードオンリー学習
• Authors: Lorenzo Pes, Bojian Yin, Sander Stuijk, Federico Corradi,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、動的時間信号を処理するための効率的なフレームワークを提供する。 SNNのトレーニングにおける重要な課題は、空間的および時間的クレジット割り当ての両方を解決することである。
• 参考スコア（独自算出の注目度）: 1.6952253597549973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) provide an efficient framework for processing dynamic spatio-temporal signals and for investigating the learning principles underlying biological neural systems. A key challenge in training SNNs is to solve both spatial and temporal credit assignment. The dominant approach for training SNNs is Backpropagation Through Time (BPTT) with surrogate gradients. However, BPTT is in stark contrast with the spatial and temporal locality observed in biological neural systems and leads to high computational and memory demands, limiting efficient training strategies and on-device learning. Although existing local learning rules achieve local temporal credit assignment by leveraging eligibility traces, they fail to address the spatial credit assignment without resorting to auxiliary layer-wise matrices, which increase memory overhead and hinder scalability, especially on embedded devices. In this work, we propose Traces Propagation (TP), a forward-only, memory-efficient, scalable, and fully local learning rule that combines eligibility traces with a layer-wise contrastive loss without requiring auxiliary layer-wise matrices. TP outperforms other fully local learning rules on NMNIST and SHD datasets. On more complex datasets such as DVS-GESTURE and DVS-CIFAR10, TP showcases competitive performance and scales effectively to deeper SNN architectures such as VGG-9, while providing favorable memory scaling compared to prior fully local scalable rules, for datasets with a significant number of classes. Finally, we show that TP is well suited for practical fine-tuning tasks, such as keyword spotting on the Google Speech Commands dataset, thus paving the way for efficient learning at the edge.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、動的時空間信号を処理し、生物学的ニューラルネットワークの基礎となる学習原理を研究するための効率的なフレームワークを提供する。 SNNのトレーニングにおける重要な課題は、空間的および時間的クレジットの割り当てを解決することである。 SNNのトレーニングにおける主要なアプローチは、代理勾配を持つバックプロパゲーション・スルー・タイム(BPTT)である。 しかしBPTTは、生物学的神経系で観測される空間的および時間的局所性とは対照的であり、高い計算とメモリ要求をもたらし、効率的なトレーニング戦略とデバイス上での学習を制限する。 既存のローカル学習ルールは、可視性トレースを利用して、局所的時間的信用割当を実現するが、補助層ワイド行列を使わずに、空間的信用割当に対処できず、メモリオーバーヘッドを増大させ、特に組み込みデバイスにおいてスケーラビリティを阻害する。 本研究では,前処理のみで,メモリ効率が高く,スケーラブルで,完全に局所的な学習ルールであるTraces Propagation (TP)を提案する。 TPはNMNISTやSHDデータセット上で、他の完全にローカルな学習ルールよりも優れている。 DVS-GESTUREやDVS-CIFAR10のようなより複雑なデータセットでは、TPは競合性能を示し、VGG-9のようなより深いSNNアーキテクチャに効果的にスケールする。 最後に、TPは、Google Speech Commandsデータセットのキーワードスポッティングなど、実用的な微調整タスクに適しており、エッジでの効率的な学習の道を開いたことを示す。

関連論文リスト

• Spatio-Temporal Decoupled Learning for Spiking Neural Networks [23.720523101102593]
  スパイキング人工ニューラルネットワーク(SNN)は、エネルギー効率の良いインテリジェンスを実現する可能性に大きな注目を集めている。 時間によるバックプロパゲーション(BPTT)は高い精度を達成するが、かなりのメモリオーバーヘッドを引き起こす。 本研究では,SNNの精度と訓練効率を両立させるため,空間的および時間的依存関係を分離する新たなトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-01T18:46:36Z)
• TESS: A Scalable Temporally and Spatially Local Learning Rule for Spiking Neural Networks [6.805933498669221]
  リソース制約のあるデバイス上でのニューラルネットワーク(SNN)のトレーニングは、高い計算とメモリ要求のため、依然として困難である。 本稿では,SNNの学習のための時間的・空間的学習ルールであるTESSを紹介する。 本手法は,各ニューロン内の局所的な信号にのみ依存することにより,時間的および空間的クレジット割り当てに対処する。
  論文  参考訳（メタデータ） (2025-02-03T21:23:15Z)
• S-TLLR: STDP-inspired Temporal Local Learning Rule for Spiking Neural Networks [7.573297026523597]
  スパイキングニューラルネットワーク(SNN)は生物学的に妥当なモデルであり、エッジにエネルギー効率の良いインテリジェンスをデプロイするための候補として特定されている。 本稿では,S-TLLRを提案する。S-TLLRはスパイク・タイミング依存塑性(STDP)機構にインスパイアされた新しい3要素時間的局所学習法である。 S-TLLRは、メモリと時間の複雑さが低く、時間ステップの数に依存しないように設計されており、低消費電力エッジデバイス上でのオンライン学習に適している。
  論文  参考訳（メタデータ） (2023-06-27T05:44:56Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。