論文の概要: Towards Zero Memory Footprint Spiking Neural Network Training
- arxiv url: http://arxiv.org/abs/2308.08649v1
- Date: Wed, 16 Aug 2023 19:49:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 18:56:10.714513
- Title: Towards Zero Memory Footprint Spiking Neural Network Training
- Title（参考訳）: ゼロメモリフットプリントスパイクニューラルネットワークトレーニングに向けて
- Authors: Bin Lei, Sheng Lin, Pei-Hung Lin, Chunhua Liao, Caiwen Ding
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、連続値ではなくスパイクと呼ばれる離散時間イベントを使用して情報を処理する。
本稿では,メモリフットプリントが著しく低いことを特徴とする,革新的なフレームワークを提案する。
我々の設計では、現在のSNNノードと比較してメモリ使用量の削減を$mathbf58.65times$で達成できる。
- 参考スコア（独自算出の注目度）: 7.4331790419913455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Biologically-inspired Spiking Neural Networks (SNNs), processing information
using discrete-time events known as spikes rather than continuous values, have
garnered significant attention due to their hardware-friendly and
energy-efficient characteristics. However, the training of SNNs necessitates a
considerably large memory footprint, given the additional storage requirements
for spikes or events, leading to a complex structure and dynamic setup. In this
paper, to address memory constraint in SNN training, we introduce an innovative
framework, characterized by a remarkably low memory footprint. We \textbf{(i)}
design a reversible SNN node that retains a high level of accuracy. Our design
is able to achieve a $\mathbf{58.65\times}$ reduction in memory usage compared
to the current SNN node. We \textbf{(ii)} propose a unique algorithm to
streamline the backpropagation process of our reversible SNN node. This
significantly trims the backward Floating Point Operations Per Second (FLOPs),
thereby accelerating the training process in comparison to current reversible
layer backpropagation method. By using our algorithm, the training time is able
to be curtailed by $\mathbf{23.8\%}$ relative to existing reversible layer
architectures.
- Abstract（参考訳）: 生物学的にインスパイアされたスパイクニューラルネットワーク(SNN)は、スパイクと呼ばれる離散時間イベントを用いて情報を処理し、ハードウェアフレンドリーでエネルギー効率のよい特徴から注目されている。
しかし、スパイクやイベントの追加ストレージ要件を考えると、SNNのトレーニングは大幅に大きなメモリフットプリントを必要とするため、複雑な構造と動的セットアップにつながる。
本稿では,snnトレーニングにおけるメモリ制約に対処するため,メモリフットプリントが著しく少ない,革新的なフレームワークを提案する。
We \textbf{
i) 高い精度を維持した可逆SNNノードを設計する。
我々の設計では、現在のsnノードと比較してメモリ使用量を$\mathbf{58.65\times}$削減できる。
We \textbf{
(ii),可逆snノードのバックプロパゲーションプロセスを合理化するユニークなアルゴリズムを提案する。
これにより、後進浮動小数点演算(FLOP)が大幅に削減され、現在の可逆層バックプロパゲーション法と比較してトレーニングプロセスが高速化される。
このアルゴリズムを用いることで、既存の可逆層アーキテクチャと比較して、トレーニング時間を$\mathbf{23.8\%}$で削減することができる。
関連論文リスト
- High-Performance Temporal Reversible Spiking Neural Networks with $O(L)$ Training Memory and $O(1)$ Inference Cost [32.44622524827913]
スパイキングニューラルネットワーク(SNN)は、トレーニング中のメモリ要求を増大させ、推論エネルギーコストを増大させる。
本研究では、トレーニングと推論の課題に共同で取り組むために、SNN(T-RevSNN)のための新しい時間的可逆アーキテクチャを提案する。
T-RevSNNはImageNet上で優れた精度を実現し、メモリ効率、トレーニング時間加速度、推論エネルギー効率を大幅に改善することができる。
論文 参考訳（メタデータ） (2024-05-26T07:26:56Z) - Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。
Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
論文 参考訳（メタデータ） (2024-01-24T03:03:17Z) - TT-SNN: Tensor Train Decomposition for Efficient Spiking Neural Network
Training [27.565726483503838]
スパイキングニューラルネットワーク(TT-SNN)の列車分解について紹介する。
TT-SNNはトレーニング可能な重量分解によってモデルサイズを削減し、ストレージ、FLOP、レイテンシーを削減した。
また,典型的な逐次テンソル計算の代替として並列計算を提案する。
論文 参考訳（メタデータ） (2024-01-15T23:08:19Z) - Memory-Efficient Reversible Spiking Neural Networks [8.05761813203348]
スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)と競合する可能性がある
SNNは、より深いSNNモデルのトレーニングを妨げるANNよりもはるかに多くのメモリを必要とする。
本稿では、トレーニング中の中間活性化と膜電位のメモリコストを低減するために、可逆的なスパイクニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-13T06:39:49Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - A temporally and spatially local spike-based backpropagation algorithm
to enable training in hardware [0.0]
Spiking Neural Networks (SNN)は、分類タスクのためのハードウェア効率の良いアーキテクチャとして登場した。
非スパイキング人工ニューラルネットワーク(ANN)で使用される強力なバックプロパゲーション(BP)技術を採用する試みはいくつかある。
論文 参考訳（メタデータ） (2022-07-20T08:57:53Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-04-29T05:50:54Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike
Timing Dependent Backpropagation [10.972663738092063]
Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する
本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。
我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
論文 参考訳（メタデータ） (2020-05-04T19:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。