論文の概要: High-Performance Temporal Reversible Spiking Neural Networks with $O(L)$ Training Memory and $O(1)$ Inference Cost
- arxiv url: http://arxiv.org/abs/2405.16466v1
- Date: Sun, 26 May 2024 07:26:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 21:08:36.728177
- Title: High-Performance Temporal Reversible Spiking Neural Networks with $O(L)$ Training Memory and $O(1)$ Inference Cost
- Title（参考訳）: O(L)$トレーニングメモリと$O(1)$推論コストを備えた高性能時間反転スパイクニューラルネットワーク
- Authors: JiaKui Hu, Man Yao, Xuerui Qiu, Yuhong Chou, Yuxuan Cai, Ning Qiao, Yonghong Tian, Bo XU, Guoqi Li,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、トレーニング中のメモリ要求を増大させ、推論エネルギーコストを増大させる。
本研究では、トレーニングと推論の課題に共同で取り組むために、SNN(T-RevSNN)のための新しい時間的可逆アーキテクチャを提案する。
T-RevSNNはImageNet上で優れた精度を実現し、メモリ効率、トレーニング時間加速度、推論エネルギー効率を大幅に改善することができる。
- 参考スコア（独自算出の注目度）: 32.44622524827913
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-timestep simulation of brain-inspired Spiking Neural Networks (SNNs) boost memory requirements during training and increase inference energy cost. Current training methods cannot simultaneously solve both training and inference dilemmas. This work proposes a novel Temporal Reversible architecture for SNNs (T-RevSNN) to jointly address the training and inference challenges by altering the forward propagation of SNNs. We turn off the temporal dynamics of most spiking neurons and design multi-level temporal reversible interactions at temporal turn-on spiking neurons, resulting in a $O(L)$ training memory. Combined with the temporal reversible nature, we redesign the input encoding and network organization of SNNs to achieve $O(1)$ inference energy cost. Then, we finely adjust the internal units and residual connections of the basic SNN block to ensure the effectiveness of sparse temporal information interaction. T-RevSNN achieves excellent accuracy on ImageNet, while the memory efficiency, training time acceleration, and inference energy efficiency can be significantly improved by $8.6 \times$, $2.0 \times$, and $1.6 \times$, respectively. This work is expected to break the technical bottleneck of significantly increasing memory cost and training time for large-scale SNNs while maintaining high performance and low inference energy cost. Source code and models are available at: https://github.com/BICLab/T-RevSNN.
- Abstract（参考訳）: 脳にインスパイアされたスパイキングニューラルネットワーク(SNN)のマルチステップシミュレーションにより、トレーニング中のメモリ要求が増加し、推論エネルギーコストが向上する。
現在の訓練方法は、トレーニングと推論の両方のジレンマを同時に解決することはできない。
本研究では,SNNの前方伝播を変化させることで,学習課題と推論課題を協調的に解決する,新しいT-RevSNN(T-RevSNN)を提案する。
我々は、ほとんどのスパイキングニューロンの時間的ダイナミクスをオフにし、テンポラルターンオンスパイキングニューロンにおける多段階の時間的可逆相互作用を設計し、その結果、O(L)$トレーニングメモリとなる。
時間的可逆性と組み合わせて、SNNの入力エンコーディングとネットワーク構成を再設計し、$O(1)$推論エネルギーコストを実現する。
そして, 基本SNNブロックの内部ユニットと残余接続を微調整し, 疎時間情報相互作用の有効性を確かめる。
T-RevSNNはImageNet上で優れた精度を実現し、メモリ効率、トレーニングタイムアクセラレーション、推論エネルギー効率は、それぞれ8.6 \times$、$2.0 \times$、$.6 \times$で大幅に改善できる。
この研究は、大規模SNNのメモリコストとトレーニング時間を大幅に増加させ、高い性能と低推論エネルギーコストを維持しながら技術的ボトルネックを突破すると予想されている。
ソースコードとモデルについては、https://github.com/BICLab/T-RevSNNを参照。
関連論文リスト
- Memory-Efficient Reversible Spiking Neural Networks [8.05761813203348]
スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)と競合する可能性がある
SNNは、より深いSNNモデルのトレーニングを妨げるANNよりもはるかに多くのメモリを必要とする。
本稿では、トレーニング中の中間活性化と膜電位のメモリコストを低減するために、可逆的なスパイクニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-13T06:39:49Z) - Towards Zero Memory Footprint Spiking Neural Network Training [7.4331790419913455]
スパイキングニューラルネットワーク(SNN)は、連続値ではなくスパイクと呼ばれる離散時間イベントを使用して情報を処理する。
本稿では,メモリフットプリントが著しく低いことを特徴とする,革新的なフレームワークを提案する。
我々の設計では、現在のSNNノードと比較してメモリ使用量の削減を$mathbf58.65times$で達成できる。
論文 参考訳（メタデータ） (2023-08-16T19:49:24Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - S$^2$NN: Time Step Reduction of Spiking Surrogate Gradients for Training
Energy Efficient Single-Step Neural Networks [0.40145248246551063]
計算コストが低く高精度なシングルステップニューラルネットワーク(S$2$NN)を提案する。
提案されたS$2$NNは、隠れたレイヤ間の情報をスパイクによってSNNとして処理する。
時間次元を持たないため、トレーニングやBNNのような推論フェーズに遅延がない。
論文 参考訳（メタデータ） (2022-01-26T11:31:21Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳（メタデータ） (2021-12-12T17:13:14Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike
Hybrid Input Encoding [5.725845886457027]
スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。
SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。
本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-26T06:16:40Z) - TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。
DNNトレーニングのための軽量加速器であるTaxoNNを提案する。
実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
論文 参考訳（メタデータ） (2020-10-11T09:04:19Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。