論文の概要: Spatio-Temporal Decoupled Learning for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2506.01117v1
• Date: Sun, 01 Jun 2025 18:46:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.257564
• Title: Spatio-Temporal Decoupled Learning for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークのための時空間分離学習
• Authors: Chenxiang Ma, Xinyi Chen, Kay Chen Tan, Jibin Wu,
• Abstract要約: スパイキング人工ニューラルネットワーク(SNN)は、エネルギー効率の良いインテリジェンスを実現する可能性に大きな注目を集めている。 時間によるバックプロパゲーション(BPTT)は高い精度を達成するが、かなりのメモリオーバーヘッドを引き起こす。 本研究では,SNNの精度と訓練効率を両立させるため,空間的および時間的依存関係を分離する新たなトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.720523101102593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) have gained significant attention for their potential to enable energy-efficient artificial intelligence. However, effective and efficient training of SNNs remains an unresolved challenge. While backpropagation through time (BPTT) achieves high accuracy, it incurs substantial memory overhead. In contrast, biologically plausible local learning methods are more memory-efficient but struggle to match the accuracy of BPTT. To bridge this gap, we propose spatio-temporal decouple learning (STDL), a novel training framework that decouples the spatial and temporal dependencies to achieve both high accuracy and training efficiency for SNNs. Specifically, to achieve spatial decoupling, STDL partitions the network into smaller subnetworks, each of which is trained independently using an auxiliary network. To address the decreased synergy among subnetworks resulting from spatial decoupling, STDL constructs each subnetwork's auxiliary network by selecting the largest subset of layers from its subsequent network layers under a memory constraint. Furthermore, STDL decouples dependencies across time steps to enable efficient online learning. Extensive evaluations on seven static and event-based vision datasets demonstrate that STDL consistently outperforms local learning methods and achieves comparable accuracy to the BPTT method with considerably reduced GPU memory cost. Notably, STDL achieves 4x reduced GPU memory than BPTT on the ImageNet dataset. Therefore, this work opens up a promising avenue for memory-efficient SNN training. Code is available at https://github.com/ChenxiangMA/STDL.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、エネルギー効率の良い人工知能を実現する可能性に対して大きな注目を集めている。 しかし、SNNの効果的かつ効率的な訓練は未解決の課題である。 時間によるバックプロパゲーション(BPTT)は高い精度を達成するが、かなりのメモリオーバーヘッドを引き起こす。 対照的に、生物学的にもっとも有効な局所学習法は、よりメモリ効率が高いが、BPTTの精度に適合しない。 このギャップを埋めるため,時空間依存と時空間依存を分離し,SNNの精度と訓練効率を両立させる新しい学習フレームワークである時空間分離学習(STDL)を提案する。 具体的には、空間的疎結合を実現するために、STDLはネットワークを小さなサブネットワークに分割し、それぞれが補助ネットワークを用いて独立して訓練する。 空間的疎結合によるサブネットワーク間の相乗効果の低下に対処するため、STDLは各サブネットワークの補助ネットワークを構築する。 さらに、STDLは依存関係を時間ステップで切り離して、効率的なオンライン学習を可能にする。 7つの静的およびイベントベースの視覚データセットに対する広範囲な評価は、STDLが局所学習法を一貫して上回り、GPUメモリコストを大幅に削減したBPTT法に匹敵する精度を達成していることを示している。 特にSTDLは、ImageNetデータセット上のBPTTよりも4倍少ないGPUメモリを実現している。 したがって、この研究はメモリ効率のよいSNNトレーニングのための有望な道を開く。 コードはhttps://github.com/ChenxiangMA/STDLで入手できる。

関連論文リスト

• TESS: A Scalable Temporally and Spatially Local Learning Rule for Spiking Neural Networks [6.805933498669221]
  リソース制約のあるデバイス上でのニューラルネットワーク(SNN)のトレーニングは、高い計算とメモリ要求のため、依然として困難である。 本稿では,SNNの学習のための時間的・空間的学習ルールであるTESSを紹介する。 本手法は,各ニューロン内の局所的な信号にのみ依存することにより,時間的および空間的クレジット割り当てに対処する。
  論文  参考訳（メタデータ） (2025-02-03T21:23:15Z)
• Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory [0.8321953606016751]
  本稿では,スパースRNNとスパイキングニューラルネットワークの一般クラスに適したメモリ効率の高い勾配チェックポイント戦略を提案する。 再計算のオーバーヘッドを最小限に抑えながら、ローカルメモリリソースの使用を最適化し、Double Checkpointingが最も効果的な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-12-16T14:23:31Z)
• Deep Unsupervised Learning Using Spike-Timing-Dependent Plasticity [1.9424510684232212]
  Spike-Timing-Dependent Plasticity (STDP)はスパイクニューラルネットワーク(SNN)のための教師なし学習機構である 本研究では,STDPクラスタリングプロセスによって生成された擬似ラベルを用いて,レートベースの畳み込みネットワークをトレーニングするDeep-STDPフレームワークについて検討する。 Tiny ImageNetデータセットの10クラスのサブセット上で,アイソ精度でより高速な収束速度を実現する。
  論文  参考訳（メタデータ） (2023-07-08T22:21:23Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。