論文の概要: FSpiNN: An Optimization Framework for Memory- and Energy-Efficient Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2007.08860v1
• Date: Fri, 17 Jul 2020 09:40:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 12:53:33.400951
• Title: FSpiNN: An Optimization Framework for Memory- and Energy-Efficient Spiking Neural Networks
• Title（参考訳）: FSpiNN: メモリとエネルギー効率の良いスパイクニューラルネットワークのための最適化フレームワーク
• Authors: Rachmad Vidya Wicaksana Putra, Muhammad Shafique
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。 しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。 トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
• 参考スコア（独自算出の注目度）: 14.916996986290902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) are gaining interest due to their event-driven processing which potentially consumes low power/energy computations in hardware platforms, while offering unsupervised learning capability due to the spike-timing-dependent plasticity (STDP) rule. However, state-of-the-art SNNs require a large memory footprint to achieve high accuracy, thereby making them difficult to be deployed on embedded systems, for instance on battery-powered mobile devices and IoT Edge nodes. Towards this, we propose FSpiNN, an optimization framework for obtaining memory- and energy-efficient SNNs for training and inference processing, with unsupervised learning capability while maintaining accuracy. It is achieved by (1) reducing the computational requirements of neuronal and STDP operations, (2) improving the accuracy of STDP-based learning, (3) compressing the SNN through a fixed-point quantization, and (4) incorporating the memory and energy requirements in the optimization process. FSpiNN reduces the computational requirements by reducing the number of neuronal operations, the STDP-based synaptic weight updates, and the STDP complexity. To improve the accuracy of learning, FSpiNN employs timestep-based synaptic weight updates, and adaptively determines the STDP potentiation factor and the effective inhibition strength. The experimental results show that, as compared to the state-of-the-art work, FSpiNN achieves 7.5x memory saving, and improves the energy-efficiency by 3.5x on average for training and by 1.8x on average for inference, across MNIST and Fashion MNIST datasets, with no accuracy loss for a network with 4900 excitatory neurons, thereby enabling energy-efficient SNNs for edge devices/embedded systems.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、ハードウェアプラットフォームで低消費電力/エネルギー計算を消費する可能性のあるイベント駆動処理による関心を集めている。 しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とするため、例えばバッテリ駆動のモバイルデバイスやIoT Edgeノードなど、組み込みシステムへのデプロイが困難になる。 そこで本稿では,トレーニングと推論処理のためのメモリ効率とエネルギー効率のよいSNNを,精度を維持しつつ教師なし学習能力を備えた最適化フレームワークFSpiNNを提案する。 2)STDPに基づく学習の精度の向上,(3)固定点量子化によるSNNの圧縮,(4)メモリとエネルギーの要求を最適化プロセスに組み込むことにより,脳神経とSTDP操作の計算要求の低減を実現した。 FSpiNNは、ニューロン操作の数、STDPベースのシナプス重み更新、STDPの複雑さを減らし、計算要求を減らす。 学習の精度を向上させるため、FSpiNNはタイムステップベースのシナプス重み更新を採用し、STDP増強因子と効果的な抑制強度を適応的に決定する。 実験結果から,fspinnは最新技術と比較して7.5倍のメモリ節約を達成し,トレーニングで平均3.5倍,推論で平均1.8倍のエネルギー効率を向上し,4900の興奮ニューロンを有するネットワークの精度損失をなくし,エッジデバイス/組込みシステムにおいてエネルギー効率のよいsnsを実現する。

関連論文リスト

• TopSpark: A Timestep Optimization Methodology for Energy-Efficient Spiking Neural Networks on Autonomous Mobile Agents [14.916996986290902]
  スパイキングニューラルネットワーク(SNN)は、スパース計算と効率的なオンライン学習による低消費電力/エネルギー処理を提供する。 TopSparkは、適応タイムステップの削減を利用して、トレーニングと推論の両方でエネルギー効率の良いSNN処理を可能にする新しい手法である。
  論文  参考訳（メタデータ） (2023-03-03T10:20:45Z)
• The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks [0.368986335765876]
  パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。 本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。 本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-08T16:25:20Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
  ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。 スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。 実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
  論文  参考訳（メタデータ） (2022-09-21T21:17:56Z)
• tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
  スパイキングニューラルネットワーク(SNN)モデルは、高い精度を提供できるため、一般的に好適である。 しかし、資源とエネルギーを制約した組込みプラットフォームにそのようなモデルを適用することは非効率である。 本稿では,SNN処理のメモリおよびエネルギー要求を最適化する小型SNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T09:40:40Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments [14.727296040550392]
  スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。 動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
  論文  参考訳（メタデータ） (2021-02-28T08:26:23Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。