論文の概要: HM-DF SNN: Transcending Conventional Online Learning with Advanced Training and Deployment
- arxiv url: http://arxiv.org/abs/2410.07547v2
- Date: Wed, 07 May 2025 10:08:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-08 19:07:35.738675
- Title: HM-DF SNN: Transcending Conventional Online Learning with Advanced Training and Deployment
- Title（参考訳）: HM-DF SNN: 高度なトレーニングと展開による従来型オンライン学習の超越
- Authors: Zecheng Hao, Yifan Huang, Zijie Xu, Wenxuan Liu, Yuanhong Tang, Zhaofei Yu, Tiejun Huang,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、人工知能の将来の発展において大きな可能性を秘めていると考えられている。
現在のオンライン学習フレームワークは、時間依存勾配の不分離問題に対処できない。
本稿では,それぞれ異なるスパイキング計算方式を採用する高度なモデル群であるHM-DF(Hybrid Mechanism-Driven Firing)モデルを提案する。
- 参考スコア（独自算出の注目度）: 39.6783548791379
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) are considered to have enormous potential in the future development of Artificial Intelligence due to their brain-inspired and energy-efficient properties. Compared to vanilla Spatial-Temporal Back-propagation (STBP) training methods, online training can effectively overcome the risk of GPU memory explosion. However, current online learning framework cannot tackle the inseparability problem of temporal dependent gradients and merely aim to optimize the training memory, resulting in no performance advantages compared to the STBP training models in the inference phase. To address the aforementioned challenges, we propose Hybrid Mechanism-Driven Firing (HM-DF) model, which is a family of advanced models that respectively adopt different spiking calculation schemes in the upper-region and lower-region of the firing threshold. We point out that HM-DF model can effectively separate temporal gradients and tackle the mismatch problem of surrogate gradients, as well as achieving full-stage optimization towards computation speed and memory footprint. Experimental results have demonstrated that HM-DF model can be flexibly combined with various techniques to achieve state-of-the-art performance in the field of online learning, without triggering further power consumption.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率の良い性質のために、人工知能の将来の発展に大きな可能性を秘めていると考えられている。
バニラ空間時間バックプロパゲーション(STBP)トレーニング手法と比較して、オンライントレーニングはGPUメモリの爆発のリスクを効果的に克服することができる。
しかし、現在のオンライン学習フレームワークは、時間依存勾配の不分離問題に対処できず、単にトレーニングメモリの最適化を目的とせず、推論フェーズにおけるSTBPトレーニングモデルと比較してパフォーマンス上の優位性はない。
以上の課題に対処するため, 上域と下域でそれぞれ異なるスパイキング計算方式を採用する先進モデルのファミリーであるハイブリッドメカニズム駆動フィリング(HM-DF)モデルを提案する。
我々は,HM-DFモデルが時間勾配を効果的に分離し,サロゲート勾配のミスマッチ問題に対処し,計算速度とメモリフットプリントに対するフルステージ最適化を実現することを指摘した。
実験の結果,HM-DFモデルと様々な手法を柔軟に組み合わせることで,オンライン学習の分野での最先端性能を実現することができることがわかった。
関連論文リスト
- Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。
最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。
オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
論文 参考訳（メタデータ） (2024-07-17T12:09:00Z) - Efficient Online Learning for Networks of Two-Compartment Spiking
Neurons [23.720523101102593]
本稿では,TC-LIFニューロンのネットワークに適した新しいオンライン学習手法を提案する。
我々はまた、時間情報統合を強化するために慎重に設計された適応型TC-LIFニューロンモデル(Adaptive TC-LIF)を提案する。
本手法は, オンライン学習のトレーニング効率とハードウェアフレンドリさを両立させながら, TC-LIFニューロンの優れた逐次モデリング能力の維持に成功している。
論文 参考訳（メタデータ） (2024-02-25T03:15:12Z) - Parallel Spiking Unit for Efficient Training of Spiking Neural Networks [8.912926151352888]
スパイキングニューラルネットワーク(SNN)は、人工知能の進歩に使用される。
SNNは、その固有の逐次計算依存によって妨げられている。
本稿では、革新的なParallel Spiking Unit(PSU)とその2つの誘導体、IPSU(IPSU)とRPSU(RPSU)を紹介する。
これらの変種は、リセットプロセスを確率的に管理しながら、スパイキングニューロンの漏れた積分と発火機構を巧みに分離する。
論文 参考訳（メタデータ） (2024-02-01T09:36:26Z) - Estimating Post-Synaptic Effects for Online Training of Feed-Forward
SNNs [0.27016900604393124]
スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。
本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。
本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
論文 参考訳（メタデータ） (2023-11-07T16:53:39Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Dual adaptive training of photonic neural networks [30.86507809437016]
フォトニックニューラルネットワーク(PNN)は、低レイテンシ、高エネルギー効率、高並列性を特徴とする電子の代わりに光子を用いて計算する。
既存のトレーニングアプローチでは、大規模PNNにおける体系的エラーの広範な蓄積には対処できない。
そこで本研究では,PNNモデルが実質的な系統的誤りに適応できるように,DAT(Dual Adaptive Training)を提案する。
論文 参考訳（メタデータ） (2022-12-09T05:03:45Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Online Training of Spiking Recurrent Neural Networks with Phase-Change
Memory Synapses [1.9809266426888898]
専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。
本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。
我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
論文 参考訳（メタデータ） (2021-08-04T01:24:17Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。