論文の概要: A High Energy-Efficiency Multi-core Neuromorphic Architecture for Deep SNN Training

• arxiv url: http://arxiv.org/abs/2412.05302v3
• Date: Mon, 30 Dec 2024 01:29:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 15:59:34.366081
• Title: A High Energy-Efficiency Multi-core Neuromorphic Architecture for Deep SNN Training
• Title（参考訳）: 深部SNNトレーニングのための高効率マルチコアニューロモルフィックアーキテクチャ
• Authors: Mingjing Li, Huihui Zhou, Xiaofeng Xu, Zhiwei Zhong, Puli Quan, Xueke Zhu, Yanyu Lin, Wenjie Lin, Hongyu Guo, Junchao Zhang, Yunhao Ma, Wei Wang, Qingyan Meng, Zhengyu Ma, Guoqi Li, Xiaoxin Cui, Yonghong Tian,
• Abstract要約: 直接SNNトレーニングを支援するマルチコアニューロモルフィックアーキテクチャを開発した。 SNN訓練におけるA100 GPUと比較して,DRAMアクセスを5585%削減した1.05TFLOPS/W@FP16 @28nmの高エネルギー効率が得られる。
• 参考スコア（独自算出の注目度）: 40.2426933591366
• License:
• Abstract: There is a growing necessity for edge training to adapt to dynamically changing environment. Neuromorphic computing represents a significant pathway for high-efficiency intelligent computation in energy-constrained edges, but existing neuromorphic architectures lack the ability of directly training spiking neural networks (SNNs) based on backpropagation. We develop a multi-core neuromorphic architecture with Feedforward-Propagation, Back-Propagation, and Weight-Gradient engines in each core, supporting high efficient parallel computing at both the engine and core levels. It combines various data flows and sparse computation optimization by fully leveraging the sparsity in SNN training, obtaining a high energy efficiency of 1.05TFLOPS/W@ FP16 @ 28nm, 55 ~ 85% reduction of DRAM access compared to A100 GPU in SNN trainings, and a 20-core deep SNN training and a 5-worker federated learning on FPGAs. Our study develops the first multi-core neuromorphic architecture supporting the direct SNN training, facilitating the neuromorphic computing in edge-learnable applications.
• Abstract（参考訳）: 動的に変化する環境に適応するためには、エッジトレーニングがますます必要になります。 ニューロモルフィックコンピューティングは、エネルギー制約されたエッジにおける高効率なインテリジェントな計算のための重要な経路であるが、既存のニューロモルフィックアーキテクチャではバックプロパゲーションに基づいてスパイキングニューラルネットワーク(SNN)を直接訓練する能力が欠如している。 我々は,各コアにFeedforward-Propagation,Back-Propagation,Weight-Gradientエンジンを備えた多コアニューロモルフィックアーキテクチャを開発し,エンジンレベルとコアレベルの両方で高効率な並列計算をサポートする。 SNNトレーニングでは、さまざまなデータフローとスパース計算の最適化をフル活用して、1.05TFLOPS/W@ FP16 @28nm、55 ~ 85%のDRAMアクセスをSNNトレーニングではA100 GPUと比較して削減し、20コアのディープSNNトレーニングとFPGA上での5コアのフェデレーション学習を実現している。 本研究は、エッジ学習可能なアプリケーションにおいて、直接SNNトレーニングを支援する最初のマルチコアニューロモルフィックアーキテクチャを開発する。

関連論文リスト

• Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する 本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-05-06T09:58:54Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Multi-scale Evolutionary Neural Architecture Search for Deep Spiking Neural Networks [7.271032282434803]
  スパイキングニューラルネットワーク(SNN)のためのマルチスケール進化型ニューラルネットワーク探索(MSE-NAS)を提案する。 MSE-NASは脳にインスパイアされた間接的評価機能であるRepresentational Dissimilarity Matrices(RDMs)を介して、個々のニューロンの操作、複数の回路モチーフの自己組織化の統合、およびグローバルなモチーフ間の接続を進化させる 提案アルゴリズムは,静的データセットとニューロモルフィックデータセットのシミュレーションステップを短縮して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-04-21T05:36:37Z)
• PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
  本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。 教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。 この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T09:56:02Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Energy-Efficient Deployment of Machine Learning Workloads on Neuromorphic Hardware [0.11744028458220425]
  ディープラーニングハードウェアアクセラレータがいくつかリリースされ、ディープニューラルネットワーク(DNN)が消費する電力と面積の削減に特化している。 個別の時系列データで動作するスパイクニューラルネットワーク(SNN)は、特殊なニューロモルフィックイベントベース/非同期ハードウェアにデプロイすると、大幅な電力削減を実現することが示されている。 本研究では,事前学習したDNNをSNNに変換するための一般的なガイドを提供するとともに,ニューロモルフィックハードウェア上でのSNNの展開を改善するためのテクニックも提示する。
  論文  参考訳（メタデータ） (2022-10-10T20:27:19Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。