論文の概要: Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2302.14311v1
• Date: Tue, 28 Feb 2023 05:01:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 18:05:57.657351
• Title: Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークの学習のための記憶と時間効率のバックプロパゲーションに向けて
• Authors: Qingyan Meng, Mingqing Xiao, Shen Yan, Yisen Wang, Zhouchen Lin, Zhi-Quan Luo
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
• 参考スコア（独自算出の注目度）: 70.75043144299168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) are promising energy-efficient models for neuromorphic computing. For training the non-differentiable SNN models, the backpropagation through time (BPTT) with surrogate gradients (SG) method has achieved high performance. However, this method suffers from considerable memory cost and training time during training. In this paper, we propose the Spatial Learning Through Time (SLTT) method that can achieve high performance while greatly improving training efficiency compared with BPTT. First, we show that the backpropagation of SNNs through the temporal domain contributes just a little to the final calculated gradients. Thus, we propose to ignore the unimportant routes in the computational graph during backpropagation. The proposed method reduces the number of scalar multiplications and achieves a small memory occupation that is independent of the total time steps. Furthermore, we propose a variant of SLTT, called SLTT-K, that allows backpropagation only at K time steps, then the required number of scalar multiplications is further reduced and is independent of the total time steps. Experiments on both static and neuromorphic datasets demonstrate superior training efficiency and performance of our SLTT. In particular, our method achieves state-of-the-art accuracy on ImageNet, while the memory cost and training time are reduced by more than 70% and 50%, respectively, compared with BPTT.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 微分不可能なSNNモデルのトレーニングでは,代用勾配法(SG法)を用いたBPTT法が高性能である。 しかし、この方法はトレーニング中にかなりのメモリコストとトレーニング時間に苦しむ。 本稿では,BPTTと比較して訓練効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 まず、時間領域を通したSNNのバックプロパゲーションは、計算された最終的な勾配にわずかに寄与することを示す。 そこで,バックプロパゲーション中に計算グラフの重要でない経路を無視することを提案する。 提案手法は,スカラー乗算回数を削減し,全体の時間ステップに依存しない小さなメモリ占有を実現する。 さらに, SLTT の変種である SLTT-K を提案し, K 時間ステップでのみバックプロパゲーションが可能であり, 必要なスカラー乗算数が減少し, 総時間ステップに依存しない。 静的およびニューロモルフィックデータセットの実験により,SLTTの訓練効率と性能が向上した。 特に,bpttと比較してメモリコストとトレーニング時間は70%以上,50%以上低減する一方,imagenetでは最先端の精度を実現する。

関連論文リスト

• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
  リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。 時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。 BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。 BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-14T21:15:29Z)
• Estimating Post-Synaptic Effects for Online Training of Feed-Forward SNNs [0.27016900604393124]
  スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。 本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。 本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
  論文  参考訳（メタデータ） (2023-11-07T16:53:39Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• EXODUS: Stable and Efficient Training of Spiking Neural Networks [0.0]
  エネルギー効率が最も重要である機械学習タスクでは、スパイキングニューラルネットワーク(SNN)が大きな注目を集めている。 ShresthaとOrchard [2018]による以前の作業では、SLAYERと呼ばれる効率的なGPU加速バックプロパゲーションアルゴリズムが採用されており、トレーニングの大幅なスピードアップを実現している。 我々はSLAYERを修正してEXODUSと呼ばれるアルゴリズムを設計し、ニューロンリセット機構を考慮し、インプリシット関数定理(IFT)を適用して正しい勾配を計算する。
  論文  参考訳（メタデータ） (2022-05-20T15:13:58Z)
• Efficient Training of Spiking Neural Networks with Temporally-Truncated Local Backpropagation through Time [1.926678651590519]
  訓練用スパイクニューラルネットワーク(SNN)は、複雑な神経力学と発火機能における本質的な非微分性のため、依然として困難である。 本研究では,局所教師付きトレーニング手法と時間的制約付きBPTTアルゴリズムを統合したSNNの効率的かつ直接的なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T07:44:58Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。