論文の概要: Efficient Training Spiking Neural Networks with Parallel Spiking Unit
- arxiv url: http://arxiv.org/abs/2402.00449v2
- Date: Fri, 2 Feb 2024 05:39:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 11:52:34.745621
- Title: Efficient Training Spiking Neural Networks with Parallel Spiking Unit
- Title（参考訳）: 並列スパイクユニットを用いたニューラルネットワークの学習
- Authors: Yang Li, Yinqian Sun, Xiang He, Yiting Dong, Dongcheng Zhao, Yi Zeng
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、人工知能の進歩に使用される。
SNNは、その固有の逐次計算依存によって妨げられている。
本稿では、革新的なParallel Spiking Unit(PSU)とその2つの誘導体、IPSU(IPSU)とRPSU(RPSU)を紹介する。
これらの変種は、リセットプロセスを確率的に管理しながら、スパイキングニューロンの漏れた積分と発火機構を巧みに分離する。
- 参考スコア（独自算出の注目度）: 9.444277564231992
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient parallel computing has become a pivotal element in advancing
artificial intelligence. Yet, the deployment of Spiking Neural Networks (SNNs)
in this domain is hampered by their inherent sequential computational
dependency. This constraint arises from the need for each time step's
processing to rely on the preceding step's outcomes, significantly impeding the
adaptability of SNN models to massively parallel computing environments.
Addressing this challenge, our paper introduces the innovative Parallel Spiking
Unit (PSU) and its two derivatives, the Input-aware PSU (IPSU) and Reset-aware
PSU (RPSU). These variants skillfully decouple the leaky integration and firing
mechanisms in spiking neurons while probabilistically managing the reset
process. By preserving the fundamental computational attributes of the spiking
neuron model, our approach enables the concurrent computation of all membrane
potential instances within the SNN, facilitating parallel spike output
generation and substantially enhancing computational efficiency. Comprehensive
testing across various datasets, including static and sequential images,
Dynamic Vision Sensor (DVS) data, and speech datasets, demonstrates that the
PSU and its variants not only significantly boost performance and simulation
speed but also augment the energy efficiency of SNNs through enhanced sparsity
in neural activity. These advancements underscore the potential of our method
in revolutionizing SNN deployment for high-performance parallel computing
applications.
- Abstract（参考訳）: 効率的な並列コンピューティングは、人工知能の進歩において重要な要素となっている。
しかし、この領域におけるスパイキングニューラルネットワーク(SNN)の展開は、本質的に逐次的な計算依存によって妨げられている。
この制約は、前ステップの結果に依存する各ステップの処理の必要性から生じ、SNNモデルの大規模並列コンピューティング環境への適応性を著しく阻害する。
この課題に対処するために,本論文では,革新的なParallel Spiking Unit(PSU)とその2つの派生であるIPSU(IPSU)とRPSU(Reset-aware PSU)を紹介する。
これらの変種は、リセットプロセスを確率的に管理しながら、スパイキングニューロンの漏れた積分と発火機構を巧みに分離する。
スパイキングニューロンモデルの基本計算特性を保存することにより,SNN内の膜電位の同時計算が可能となり,並列スパイク出力の生成が容易になり,計算効率が大幅に向上する。
静的およびシーケンシャルな画像、ダイナミックビジョンセンサー(DVS)データ、および音声データセットを含む、さまざまなデータセットにわたる包括的なテストは、PSUとその変種がパフォーマンスとシミュレーション速度を著しく向上するだけでなく、神経活動の空間性を高めてSNNのエネルギー効率を向上することを示した。
これらの進歩は,高性能並列コンピューティングアプリケーションのSNN展開に革命をもたらす可能性を示している。
関連論文リスト
- Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。
ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。
本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
論文 参考訳（メタデータ） (2024-11-07T14:08:35Z) - Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。
スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。
提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
論文 参考訳（メタデータ） (2024-09-08T05:14:22Z) - Parallel Proportional Fusion of Spiking Quantum Neural Network for Optimizing Image Classification [10.069224006497162]
量子・スパイキングニューラルネットワーク(PPF-QSNN)の並列比例融合(Parallel Proportional Fusion of Quantum and Spiking Neural Networks)と呼ばれる新しいアーキテクチャを導入する。
提案したPPF-QSNNは、既存のスパイクニューラルネットワークと、精度、損失、ロバストネスといったメトリクスにわたるシリアル量子ニューラルネットワークの両方より優れている。
本研究は、人工知能計算における量子優位性の発展と応用の基盤となるものである。
論文 参考訳（メタデータ） (2024-04-01T10:35:35Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Scalable Nanophotonic-Electronic Spiking Neural Networks [3.9918594409417576]
スパイキングニューラルネットワーク(SNN)は、高度に並列化されたリアルタイム処理が可能な新しい計算パラダイムを提供する。
フォトニックデバイスは、SNN計算パラダイムに適合する高帯域並列アーキテクチャの設計に最適である。
CMOSとSiPhの併用技術はスケーラブルなSNNコンピューティングアーキテクチャの設計に適している。
論文 参考訳（メタデータ） (2022-08-28T06:10:06Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - A Supervised Learning Algorithm for Multilayer Spiking Neural Networks
Based on Temporal Coding Toward Energy-Efficient VLSI Processor Design [2.6872737601772956]
スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、スパイクの形で情報を処理できる脳にインスパイアされた数学的モデルである。
時間符号化に基づくSNNのための新しい教師付き学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-01-08T03:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。