論文の概要: Reconsidering the energy efficiency of spiking neural networks

• arxiv url: http://arxiv.org/abs/2409.08290v1
• Date: Thu, 29 Aug 2024 07:00:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-22 21:50:24.060144
• Title: Reconsidering the energy efficiency of spiking neural networks
• Title（参考訳）: スパイクニューラルネットワークのエネルギー効率再考
• Authors: Zhanglu Yan, Zhenyu Bai, Weng-Fai Wong,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は乗算を使わないため、一般的にエネルギー効率が高いと考えられている。 ハードウェアの観点から,ニューラルネットワーク(ANN)とSNNのエネルギー消費の比較を行った。
• 参考スコア（独自算出の注目度）: 4.37952937111446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks (SNNs) are generally regarded as more energy-efficient because they do not use multiplications. However, most SNN works only consider the counting of additions to evaluate energy consumption, neglecting other overheads such as memory accesses and data movement operations. This oversight can lead to a misleading perception of efficiency, especially when state-of-the-art SNN accelerators operate with very small time window sizes. In this paper, we present a detailed comparison of the energy consumption of artificial neural networks (ANNs) and SNNs from a hardware perspective. We provide accurate formulas for energy consumption based on classical multi-level memory hierarchy architectures, commonly used neuromorphic dataflow architectures, and our proposed improved spatial-dataflow architecture. Our research demonstrates that to achieve comparable accuracy and greater energy efficiency than ANNs, SNNs require strict limitations on both time window size T and sparsity s. For instance, with the VGG16 model and a fixed T of 6, the neuron sparsity rate must exceed 93% to ensure energy efficiency across most architectures. Inspired by our findings, we explore strategies to enhance energy efficiency by increasing sparsity. We introduce two regularization terms during training that constrain weights and activations, effectively boosting the sparsity rate. Our experiments on the CIFAR-10 dataset, using T of 6, show that our SNNs consume 69% of the energy used by optimized ANNs on spatial-dataflow architectures, while maintaining an SNN accuracy of 94.18%. This framework, developed using PyTorch, is publicly available for use and further research.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は乗算を使わないため、一般的にエネルギー効率が高いと考えられている。 しかしながら、ほとんどのSNNは、メモリアクセスやデータ移動操作といった他のオーバーヘッドを無視して、エネルギー消費を評価するための加算のカウントのみを考慮する。 この監視は、特に最先端のSNNアクセラレーターが非常に小さな時間窓サイズで動作する場合、効率の誤解を招く可能性がある。 本稿では、ハードウェアの観点から、ニューラルネットワーク(ANN)とSNNのエネルギー消費量を詳細に比較する。 本稿では,古典的マルチレベルメモリ階層アーキテクチャ,ニューロモルフィックなデータフローアーキテクチャ,空間データフローアーキテクチャの改良に基づくエネルギー消費の正確な式を提案する。 我々の研究は、ANNと同等の精度とエネルギー効率を達成するために、SNNは時間ウィンドウサイズTとスパーシティsの両方に厳密な制限を必要とすることを示した。 例えば、VGG16モデルと6の固定Tでは、ほとんどのアーキテクチャでエネルギー効率を確保するためにニューロンの間隔率は93%を超えなければならない。 この発見に触発されて, 空間性を高めてエネルギー効率を高める戦略を探究した。 トレーニング中に2つの規則化用語を導入し、重みとアクティベーションを制限し、スペーサ率を効果的に向上させる。 CIFAR-10データセットをT of 6を用いて実験したところ、SNNは空間データフローアーキテクチャ上で最適化されたANNが使用するエネルギーの69%を消費し、SNNの精度は94.18%を維持した。 PyTorchを使って開発されたこのフレームワークは、使用とさらなる研究のために公開されている。

関連論文リスト

• SparrowSNN: A Hardware/software Co-design for Energy Efficient ECG Classification [7.030659971563306]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率でよく知られている。 スパロウSNNは、SNNの98.29%の最先端精度を実現し、エネルギー消費量は1回の推定で31.39nJ、電力使用量は6.1uWである。
  論文  参考訳（メタデータ） (2024-05-06T10:30:05Z)
• Continuous Spiking Graph Neural Networks [43.28609498855841]
  連続グラフニューラルネットワーク(CGNN)は、既存の離散グラフニューラルネットワーク(GNN)を一般化する能力によって注目されている。 本稿では,2階ODEを用いたCOS-GNNの高次構造について紹介する。 我々は、COS-GNNが爆発や消滅の問題を効果的に軽減し、ノード間の長距離依存関係を捕捉できるという理論的証明を提供する。
  論文  参考訳（メタデータ） (2024-04-02T12:36:40Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Pursing the Sparse Limitation of Spiking Deep Learning Structures [42.334835610250714]
  スパイキングニューラルネットワーク(SNN)はその優れた計算とエネルギー効率のために注目を集めている。 重量とパッチレベルの当選チケットを同時に識別できる革新的なアルゴリズムを提案する。 我々は, モデル構造が極めて疎い場合でも, スパイキング抽選券が同等あるいは優れた性能を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-18T17:00:40Z)
• Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
  ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。 スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。 実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
  論文  参考訳（メタデータ） (2022-09-21T21:17:56Z)
• Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
  ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。 本稿では,WNN アーキテクチャ BTHOWeN を提案する。 BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
  論文  参考訳（メタデータ） (2022-03-03T01:46:05Z)
• Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks [1.101002667958165]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった 本稿では,現代のスパイク建築の鍵となる構成要素について述べる。 我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
  論文  参考訳（メタデータ） (2021-11-10T21:29:19Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• DTNN: Energy-efficient Inference with Dendrite Tree Inspired Neural Networks for Edge Vision Applications [2.1800759000607024]
  本稿では,活性化量子化によって実現されたテーブルルックアップ操作を用いたエネルギー効率の高い推論のためのDendrite-Tree-based Neural Network (DTNN)を提案する。 DTNNはResNet-18とVGG-11でそれぞれ19.4Xと64.9Xの大幅な省エネを実現した。
  論文  参考訳（メタデータ） (2021-05-25T11:44:12Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost Computation [97.78417228445883]
  We present SmartExchange, a algorithm- hardware co-design framework for energy- efficient inference of Deep Neural Network (DNNs)。 そこで我々は,非零要素がすべてパワー・オブ・ツーである小さな基底行列と大きなスパース係数行列の積として,各重み行列を格納できる,特別に好ましいDNN重み構造を強制する新しいアルゴリズムを開発した。 さらに、SmartExchange強化重量をフル活用し、エネルギー効率と遅延性能の両方を改善するための専用のアクセラレータを設計する。
  論文  参考訳（メタデータ） (2020-05-07T12:12:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。