論文の概要: Comprehensive Online Training and Deployment for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2410.07547v1
- Date: Thu, 10 Oct 2024 02:39:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 16:26:23.053356
- Title: Comprehensive Online Training and Deployment for Spiking Neural Networks
- Title（参考訳）: スパイクニューラルネットワークの総合的オンライントレーニングと展開
- Authors: Zecheng Hao, Yifan Huang, Zijie Xu, Zhaofei Yu, Tiejun Huang,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、人工知能(AI)の今後の発展において大きな可能性を秘めていると考えられている
現在提案されているオンライントレーニング手法は,時間依存勾配の不分離問題に対処できない。
浮動小数点スパイクと二乗シナプス重みに基づく先進的なスパイクモデル群であるEM-PFモデルを提案する。
- 参考スコア（独自算出の注目度）: 40.255762156745405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) are considered to have enormous potential in the future development of Artificial Intelligence (AI) due to their brain-inspired and energy-efficient properties. In the current supervised learning domain of SNNs, compared to vanilla Spatial-Temporal Back-propagation (STBP) training, online training can effectively overcome the risk of GPU memory explosion and has received widespread academic attention. However, the current proposed online training methods cannot tackle the inseparability problem of temporal dependent gradients and merely aim to optimize the training memory, resulting in no performance advantages compared to the STBP training models in the inference phase. To address the aforementioned challenges, we propose Efficient Multi-Precision Firing (EM-PF) model, which is a family of advanced spiking models based on floating-point spikes and binary synaptic weights. We point out that EM-PF model can effectively separate temporal gradients and achieve full-stage optimization towards computation speed and memory footprint. Experimental results have demonstrated that EM-PF model can be flexibly combined with various techniques including random back-propagation, parallel computation and channel attention mechanism, to achieve state-of-the-art performance with extremely low computational overhead in the field of online learning.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率の良い性質のために、人工知能(AI)の将来の発展に大きな可能性を秘めていると考えられている。
現在のSNNの教師付き学習領域では、バニラ空間時間バックプロパゲーション(STBP)トレーニングと比較して、オンライントレーニングはGPUメモリの爆発のリスクを効果的に克服することができ、広く学術的な注目を集めている。
しかし、現在提案されているオンライントレーニング手法は、時間依存勾配の不分離性問題に対処できず、単にトレーニングメモリの最適化を目的とせず、推論フェーズにおけるSTBPトレーニングモデルと比較して性能上の優位性はない。
上記の課題に対処するため,浮動小数点スパイクと二乗シナプス重みに基づく先進的なスパイクモデル群であるEM-PFモデルを提案する。
我々は,EM-PFモデルが時間勾配を効果的に分離し,計算速度とメモリフットプリントに対するフルステージ最適化を実現することを指摘した。
実験により,EM-PFモデルとランダムなバックプロパゲーション,並列計算,チャネルアテンション機構などの様々な手法を柔軟に組み合わせて,オンライン学習分野における計算オーバーヘッドを極端に低く抑えることができた。
関連論文リスト
- Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。
最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。
オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
論文 参考訳（メタデータ） (2024-07-17T12:09:00Z) - Efficient Online Learning for Networks of Two-Compartment Spiking
Neurons [23.720523101102593]
本稿では,TC-LIFニューロンのネットワークに適した新しいオンライン学習手法を提案する。
我々はまた、時間情報統合を強化するために慎重に設計された適応型TC-LIFニューロンモデル(Adaptive TC-LIF)を提案する。
本手法は, オンライン学習のトレーニング効率とハードウェアフレンドリさを両立させながら, TC-LIFニューロンの優れた逐次モデリング能力の維持に成功している。
論文 参考訳（メタデータ） (2024-02-25T03:15:12Z) - Parallel Spiking Unit for Efficient Training of Spiking Neural Networks [8.912926151352888]
スパイキングニューラルネットワーク(SNN)は、人工知能の進歩に使用される。
SNNは、その固有の逐次計算依存によって妨げられている。
本稿では、革新的なParallel Spiking Unit(PSU)とその2つの誘導体、IPSU(IPSU)とRPSU(RPSU)を紹介する。
これらの変種は、リセットプロセスを確率的に管理しながら、スパイキングニューロンの漏れた積分と発火機構を巧みに分離する。
論文 参考訳（メタデータ） (2024-02-01T09:36:26Z) - Estimating Post-Synaptic Effects for Online Training of Feed-Forward
SNNs [0.27016900604393124]
スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。
本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。
本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
論文 参考訳（メタデータ） (2023-11-07T16:53:39Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Dual adaptive training of photonic neural networks [30.86507809437016]
フォトニックニューラルネットワーク(PNN)は、低レイテンシ、高エネルギー効率、高並列性を特徴とする電子の代わりに光子を用いて計算する。
既存のトレーニングアプローチでは、大規模PNNにおける体系的エラーの広範な蓄積には対処できない。
そこで本研究では,PNNモデルが実質的な系統的誤りに適応できるように,DAT(Dual Adaptive Training)を提案する。
論文 参考訳（メタデータ） (2022-12-09T05:03:45Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Online Training of Spiking Recurrent Neural Networks with Phase-Change
Memory Synapses [1.9809266426888898]
専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。
本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。
我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
論文 参考訳（メタデータ） (2021-08-04T01:24:17Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。