論文の概要: H2Learn: High-Efficiency Learning Accelerator for High-Accuracy Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2107.11746v1
• Date: Sun, 25 Jul 2021 07:37:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-20 23:36:40.747537
• Title: H2Learn: High-Efficiency Learning Accelerator for High-Accuracy Spiking Neural Networks
• Title（参考訳）: h2learn: 高精度スパイクニューラルネットワークのための高効率学習アクセラレータ
• Authors: Ling Liang, Zheng Qu, Zhaodong Chen, Fengbin Tu, Yujie Wu, Lei Deng, Guoqi Li, Peng Li, Yuan Xie
• Abstract要約: H2Learnは,BPTTに基づくSNN学習において,高い効率を実現する新しいアーキテクチャである。 最新のNVIDIA V100 GPUと比較して、H2Learnは7.38倍の領域節約、5.74-10.20倍のスピードアップ、5.25-7.12倍の省エネを実現している。
• 参考スコア（独自算出の注目度）: 25.768116231283045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although spiking neural networks (SNNs) take benefits from the bio-plausible neural modeling, the low accuracy under the common local synaptic plasticity learning rules limits their application in many practical tasks. Recently, an emerging SNN supervised learning algorithm inspired by backpropagation through time (BPTT) from the domain of artificial neural networks (ANNs) has successfully boosted the accuracy of SNNs and helped improve the practicability of SNNs. However, current general-purpose processors suffer from low efficiency when performing BPTT for SNNs due to the ANN-tailored optimization. On the other hand, current neuromorphic chips cannot support BPTT because they mainly adopt local synaptic plasticity rules for simplified implementation. In this work, we propose H2Learn, a novel architecture that can achieve high efficiency for BPTT-based SNN learning which ensures high accuracy of SNNs. At the beginning, we characterized the behaviors of BPTT-based SNN learning. Benefited from the binary spike-based computation in the forward pass and the weight update, we first design lookup table (LUT) based processing elements in Forward Engine and Weight Update Engine to make accumulations implicit and to fuse the computations of multiple input points. Second, benefited from the rich sparsity in the backward pass, we design a dual-sparsity-aware Backward Engine which exploits both input and output sparsity. Finally, we apply a pipeline optimization between different engines to build an end-to-end solution for the BPTT-based SNN learning. Compared with the modern NVIDIA V100 GPU, H2Learn achieves 7.38x area saving, 5.74-10.20x speedup, and 5.25-7.12x energy saving on several benchmark datasets.
• Abstract（参考訳）: spiking neural networks (snns) は、バイオ・プラウズブル・ニューラル・モデリングの利点を享受しているが、局所的なシナプス可塑性学習規則の下での精度が低いことで、多くの実用的なタスクでの応用が制限されている。 近年,人工ニューラルネットワーク(ANN)の領域からのバックプロパゲーション(BPTT)にインスパイアされた新しいSNN教師付き学習アルゴリズムが,SNNの精度を高め,SNNの実践性の向上に寄与している。 しかし、現在の汎用プロセッサは、ANNに最適化された最適化のため、SNN向けにBPTTを実行する際に、低効率に悩まされている。 一方,現在のニューロモルフィックチップは,局所的なシナプス可塑性規則を主に採用しているため,bpttをサポートできない。 本研究では,BPTTに基づくSNN学習において,高速なSNN学習を実現する新しいアーキテクチャであるH2Learnを提案する。 まず,BPTTに基づくSNN学習の動作を特徴付ける。 フォワードパスにおける二進スパイクベースの計算とウェイト更新の恩恵を受け、我々は最初にルックアップテーブル(lut)ベースの処理要素をフォワードエンジンとウェイト更新エンジンで設計し、蓄積を暗黙的にし、複数の入力ポイントの計算を融合させた。 第2に、後方パスの豊富なスパース性から恩恵を受け、入力と出力の両方のスパース性を利用するデュアルスパース性対応の後方エンジンを設計した。 最後に、BPTTベースのSNN学習のためのエンドツーエンドソリューションを構築するために、異なるエンジン間のパイプライン最適化を適用する。 最新のNVIDIA V100 GPUと比較して、H2Learnは7.38倍の領域節約、5.74-10.20倍のスピードアップ、5.25-7.12倍の省エネを実現している。

関連論文リスト

• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Highly Efficient SNNs for High-speed Object Detection [7.3074002563489024]
  実験結果から, 物体検出タスクにおいて, 1.5MBのパラメータしか持たないGPU上で, 効率的なSNNが118倍の高速化を実現できることが示唆された。 FPGAプラットフォーム上でのSNNをさらに検証し,800以上のFPSオブジェクトを極めて低レイテンシで検出できるモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-27T10:31:12Z)
• High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
  バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である 深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。 我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
  論文  参考訳（メタデータ） (2023-06-14T21:01:35Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• SpinAPS: A High-Performance Spintronic Accelerator for Probabilistic Spiking Neural Networks [31.3159725020842]
  Spintronic Accelerator for Probabilistic SNNの"SpinAPS"は、ファースト・ツー・スパイク復号のための原則的直接学習ルールを実装している。 提案手法は,手書き桁と人的活動認識ベンチマークにおいて,同等のANNで同等の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2020-08-05T15:37:47Z)
• FSpiNN: An Optimization Framework for Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
  スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。 しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。 トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
  論文  参考訳（メタデータ） (2020-07-17T09:40:26Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
  本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。 提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
  論文  参考訳（メタデータ） (2020-03-26T04:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。