論文の概要: Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting

• arxiv url: http://arxiv.org/abs/2202.11946v1
• Date: Thu, 24 Feb 2022 08:02:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 17:46:18.343696
• Title: Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting
• Title（参考訳）: 勾配再重み付けによるスパイクニューラルネットワークの時間効率トレーニング
• Authors: Shikuang Deng, Yuhang Li, Shanghang Zhang, Shi Gu
• Abstract要約: 脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、事象駆動的でエネルギー効率のよい特徴から、広く研究の関心を集めている。 シュロゲート勾配による現在の直接訓練手法は、一般化性に乏しいSNNに結果をもたらす。 SGによる勾配降下時の運動量の減少を補うための時間的効率訓練(TET)手法を導入する。
• 参考スコア（独自算出の注目度）: 29.685909045226847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, brain-inspired spiking neuron networks (SNNs) have attracted widespread research interest because of their event-driven and energy-efficient characteristics. Still, it is difficult to efficiently train deep SNNs due to the non-differentiability of its activation function, which disables the typically used gradient descent approaches for traditional artificial neural networks (ANNs). Although the adoption of surrogate gradient (SG) formally allows for the back-propagation of losses, the discrete spiking mechanism actually differentiates the loss landscape of SNNs from that of ANNs, failing the surrogate gradient methods to achieve comparable accuracy as for ANNs. In this paper, we first analyze why the current direct training approach with surrogate gradient results in SNNs with poor generalizability. Then we introduce the temporal efficient training (TET) approach to compensate for the loss of momentum in the gradient descent with SG so that the training process can converge into flatter minima with better generalizability. Meanwhile, we demonstrate that TET improves the temporal scalability of SNN and induces a temporal inheritable training for acceleration. Our method consistently outperforms the SOTA on all reported mainstream datasets, including CIFAR-10/100 and ImageNet. Remarkably on DVS-CIFAR10, we obtained 83$\%$ top-1 accuracy, over 10$\%$ improvement compared to existing state of the art. Codes are available at \url{https://github.com/Gus-Lab/temporal_efficient_training}.
• Abstract（参考訳）: 近年、脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、事象駆動型でエネルギー効率のよい特徴から、広く研究の関心を集めている。 それでも、アクティベーション関数の非微分性のため、従来のニューラルネットワーク(ANN)で一般的に使用される勾配勾配勾配アプローチを無効にするため、ディープSNNを効率的に訓練することは困難である。 surrogate gradient (sg) の採用は、公式には損失のバックプロパゲーションを可能にするが、離散的なスパイク機構は、実際にはsnsの損失景観と ann のそれとを区別し、ann と同等の精度を達成するためのsurrogategradient method に失敗している。 本稿では,現在の直接学習アプローチが一般化性に乏しいsnsに与える影響を最初に分析する。 次に, sgによる勾配降下時の運動量の損失を補償するために, 時間効率トレーニング (tet) 手法を導入する。 一方,titはsnnの時間的拡張性を改善し,アクセラレーションのための時間的継承可能なトレーニングを誘導する。 我々の手法は、CIFAR-10/100やImageNetなど、報告されたすべての主流データセットにおいて、SOTAを一貫して上回ります。 dvs-cifar10では83$-%$ top-1 の精度が得られ,既存の技術と比較して10$-%$の改善が得られた。 コードは \url{https://github.com/gus-lab/temporal_ efficient_training} で入手できる。

関連論文リスト

• Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。 本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:32Z)
• FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
  Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する 本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。 さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
  論文  参考訳（メタデータ） (2024-03-27T09:25:20Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Exact Gradient Computation for Spiking Neural Networks Through Forward Propagation [39.33537954568678]
  従来のニューラルネットワークに代わるものとして、スパイキングニューラルネットワーク(SNN)が登場している。 本稿では,SNNの正確な勾配を計算できるEmphforward propagation (FP)と呼ばれる新しいトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-18T20:28:21Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• HIRE-SNN: Harnessing the Inherent Robustness of Energy-Efficient Deep Spiking Neural Networks by Training with Crafted Input Noise [13.904091056365765]
  SNNトレーニングアルゴリズムは,入力ノイズを発生させるとともに,追加のトレーニング時間も発生しない。 通常の訓練された直接入力SNNと比較して、トレーニングされたモデルでは、最大13.7%の分類精度が向上した。 また,本モデルでは,レートコード入力を学習したSNNに対して,攻撃生成画像の分類性能が向上あるいは類似していることが特筆すべき点である。
  論文  参考訳（メタデータ） (2021-10-06T16:48:48Z)
• Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability [94.4070247697549]
  ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。 この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
  論文  参考訳（メタデータ） (2021-02-26T22:08:19Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。