論文の概要: Reconsidering the energy efficiency of spiking neural networks

• arxiv url: http://arxiv.org/abs/2409.08290v1
• Date: Thu, 29 Aug 2024 07:00:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-22 21:50:24.060144
• Title: Reconsidering the energy efficiency of spiking neural networks
• Title（参考訳）: スパイクニューラルネットワークのエネルギー効率再考
• Authors: Zhanglu Yan, Zhenyu Bai, Weng-Fai Wong,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は乗算を使わないため、一般的にエネルギー効率が高いと考えられている。 ハードウェアの観点から,ニューラルネットワーク(ANN)とSNNのエネルギー消費の比較を行った。
• 参考スコア（独自算出の注目度）: 4.37952937111446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks (SNNs) are generally regarded as more energy-efficient because they do not use multiplications. However, most SNN works only consider the counting of additions to evaluate energy consumption, neglecting other overheads such as memory accesses and data movement operations. This oversight can lead to a misleading perception of efficiency, especially when state-of-the-art SNN accelerators operate with very small time window sizes. In this paper, we present a detailed comparison of the energy consumption of artificial neural networks (ANNs) and SNNs from a hardware perspective. We provide accurate formulas for energy consumption based on classical multi-level memory hierarchy architectures, commonly used neuromorphic dataflow architectures, and our proposed improved spatial-dataflow architecture. Our research demonstrates that to achieve comparable accuracy and greater energy efficiency than ANNs, SNNs require strict limitations on both time window size T and sparsity s. For instance, with the VGG16 model and a fixed T of 6, the neuron sparsity rate must exceed 93% to ensure energy efficiency across most architectures. Inspired by our findings, we explore strategies to enhance energy efficiency by increasing sparsity. We introduce two regularization terms during training that constrain weights and activations, effectively boosting the sparsity rate. Our experiments on the CIFAR-10 dataset, using T of 6, show that our SNNs consume 69% of the energy used by optimized ANNs on spatial-dataflow architectures, while maintaining an SNN accuracy of 94.18%. This framework, developed using PyTorch, is publicly available for use and further research.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は乗算を使わないため、一般的にエネルギー効率が高いと考えられている。 しかしながら、ほとんどのSNNは、メモリアクセスやデータ移動操作といった他のオーバーヘッドを無視して、エネルギー消費を評価するための加算のカウントのみを考慮する。 この監視は、特に最先端のSNNアクセラレーターが非常に小さな時間窓サイズで動作する場合、効率の誤解を招く可能性がある。 本稿では、ハードウェアの観点から、ニューラルネットワーク(ANN)とSNNのエネルギー消費量を詳細に比較する。 本稿では,古典的マルチレベルメモリ階層アーキテクチャ,ニューロモルフィックなデータフローアーキテクチャ,空間データフローアーキテクチャの改良に基づくエネルギー消費の正確な式を提案する。 我々の研究は、ANNと同等の精度とエネルギー効率を達成するために、SNNは時間ウィンドウサイズTとスパーシティsの両方に厳密な制限を必要とすることを示した。 例えば、VGG16モデルと6の固定Tでは、ほとんどのアーキテクチャでエネルギー効率を確保するためにニューロンの間隔率は93%を超えなければならない。 この発見に触発されて, 空間性を高めてエネルギー効率を高める戦略を探究した。 トレーニング中に2つの規則化用語を導入し、重みとアクティベーションを制限し、スペーサ率を効果的に向上させる。 CIFAR-10データセットをT of 6を用いて実験したところ、SNNは空間データフローアーキテクチャ上で最適化されたANNが使用するエネルギーの69%を消費し、SNNの精度は94.18%を維持した。 PyTorchを使って開発されたこのフレームワークは、使用とさらなる研究のために公開されている。

関連論文リスト

• Energy efficiency analysis of Spiking Neural Networks for space applications [43.91307921405309]
  スパイキングニューラルネットワーク(SNN)は理論的に優れたエネルギー効率のために非常に魅力的である。 本研究では,EuroSATデータセットのシーン分類に応用したSNN手法の数値解析と比較を行う。
  論文  参考訳（メタデータ） (2025-05-16T16:29:50Z)
• LightSNN: Lightweight Architecture Search for Sparse and Accurate Spiking Neural Networks [1.0485739694839666]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率、固有の活性化空間、エッジデバイスにおけるリアルタイム処理に適していると高く評価されている。 現在のSNN手法の多くは、従来の人工知能ニューラルネットワーク(ANN)に似たアーキテクチャを採用しており、SNNに適用した場合、最適以下の性能が得られる。 本稿では,高速かつ効率的なニューラルネットワークアーキテクチャ探索(NAS)技術であるLightSNNについて述べる。
  論文  参考訳（メタデータ） (2025-03-27T16:38:13Z)
• Differential Coding for Training-Free ANN-to-SNN Conversion [45.70141988713627]
  スパイキングニューラルネットワーク(SNN)は、その低エネルギー消費のために大きな可能性を秘めている。 ニューラルネットワーク(ANN)をSNNに変換することは、高性能なSNNを実現するための効率的な方法である。 本稿では, ANN-to-SNN変換の差分符号化について紹介する。
  論文  参考訳（メタデータ） (2025-03-01T02:17:35Z)
• GhostRNN: Reducing State Redundancy in RNN with Cheap Operations [66.14054138609355]
  本稿では,効率的なRNNアーキテクチャであるGhostRNNを提案する。 KWSとSEタスクの実験により、提案されたGhostRNNはメモリ使用量(40%)と計算コストを大幅に削減し、性能は類似している。
  論文  参考訳（メタデータ） (2024-11-20T11:37:14Z)
• NeuroNAS: Enhancing Efficiency of Neuromorphic In-Memory Computing for Intelligent Mobile Agents through Hardware-Aware Spiking Neural Architecture Search [6.006032394972252]
  スパイキングニューラルネットワーク(SNN)は、イベントベースの計算を活用して、超低消費電力/エネルギー機械学習アルゴリズムを実現する。 NeuroNASは、インテリジェントな移動体エージェントのためのエネルギー効率の良いニューロモルフィックMCを開発するための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-06-30T09:51:58Z)
• Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。 本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
  論文  参考訳（メタデータ） (2024-05-27T05:53:30Z)
• SparrowSNN: A Hardware/software Co-design for Energy Efficient ECG Classification [7.030659971563306]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率でよく知られている。 スパロウSNNは、SNNの98.29%の最先端精度を実現し、エネルギー消費量は1回の推定で31.39nJ、電力使用量は6.1uWである。
  論文  参考訳（メタデータ） (2024-05-06T10:30:05Z)
• Continuous Spiking Graph Neural Networks [43.28609498855841]
  連続グラフニューラルネットワーク(CGNN)は、既存の離散グラフニューラルネットワーク(GNN)を一般化する能力によって注目されている。 本稿では,2階ODEを用いたCOS-GNNの高次構造について紹介する。 我々は、COS-GNNが爆発や消滅の問題を効果的に軽減し、ノード間の長距離依存関係を捕捉できるという理論的証明を提供する。
  論文  参考訳（メタデータ） (2024-04-02T12:36:40Z)
• Bayesian Inference Accelerator for Spiking Neural Networks [3.145754107337963]
  スパイキングニューラルネットワーク(SNN)は、計算面積と電力を減らす可能性がある。 本研究では,効率的なベイズSNNをハードウェア上で開発・実装するための最適化フレームワークについて述べる。 我々は、完全精度のベルヌーイパラメータを持つベイジアンバイナリネットワークに匹敵するアキュラ級数を示し、最大25時間分のスパイクを減らした。
  論文  参考訳（メタデータ） (2024-01-27T16:27:19Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Pursing the Sparse Limitation of Spiking Deep Learning Structures [42.334835610250714]
  スパイキングニューラルネットワーク(SNN)はその優れた計算とエネルギー効率のために注目を集めている。 重量とパッチレベルの当選チケットを同時に識別できる革新的なアルゴリズムを提案する。 我々は, モデル構造が極めて疎い場合でも, スパイキング抽選券が同等あるいは優れた性能を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-18T17:00:40Z)
• Is Conventional SNN Really Efficient? A Perspective from Network Quantization [7.04833025737147]
  スパイキングニューラルネットワーク(SNN)はその高エネルギー効率と膨大なポテンシャルで広く称賛されている。 しかし、SNNと量子化ニューラルネットワーク(ANN)を批判的に対比し、関連付ける包括的な研究はいまだに残っていない。 本稿では、SNNにおける時間ステップとアクティベーション値の量子化ビット幅が類似表現であることを示す統一的な視点を紹介する。
  論文  参考訳（メタデータ） (2023-11-17T09:48:22Z)
• Are SNNs Truly Energy-efficient? $-$ A Hardware Perspective [7.539212567508529]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率のよい機械学習能力に注目を集めている。 本研究では,SATAとSpikeSimという,大規模SNN推論のための2つのハードウェアベンチマークプラットフォームについて検討する。
  論文  参考訳（メタデータ） (2023-09-06T22:23:22Z)
• Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
  ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。 スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。 実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
  論文  参考訳（メタデータ） (2022-09-21T21:17:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
  ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。 本稿では,WNN アーキテクチャ BTHOWeN を提案する。 BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
  論文  参考訳（メタデータ） (2022-03-03T01:46:05Z)
• S$^2$NN: Time Step Reduction of Spiking Surrogate Gradients for Training Energy Efficient Single-Step Neural Networks [0.40145248246551063]
  計算コストが低く高精度なシングルステップニューラルネットワーク(S$2$NN)を提案する。 提案されたS$2$NNは、隠れたレイヤ間の情報をスパイクによってSNNとして処理する。 時間次元を持たないため、トレーニングやBNNのような推論フェーズに遅延がない。
  論文  参考訳（メタデータ） (2022-01-26T11:31:21Z)
• Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks [1.101002667958165]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった 本稿では,現代のスパイク建築の鍵となる構成要素について述べる。 我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
  論文  参考訳（メタデータ） (2021-11-10T21:29:19Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• DTNN: Energy-efficient Inference with Dendrite Tree Inspired Neural Networks for Edge Vision Applications [2.1800759000607024]
  本稿では,活性化量子化によって実現されたテーブルルックアップ操作を用いたエネルギー効率の高い推論のためのDendrite-Tree-based Neural Network (DTNN)を提案する。 DTNNはResNet-18とVGG-11でそれぞれ19.4Xと64.9Xの大幅な省エネを実現した。
  論文  参考訳（メタデータ） (2021-05-25T11:44:12Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• Toward Trainability of Quantum Neural Networks [87.04438831673063]
  量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。 木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
  論文  参考訳（メタデータ） (2020-11-12T08:32:04Z)
• SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost Computation [97.78417228445883]
  We present SmartExchange, a algorithm- hardware co-design framework for energy- efficient inference of Deep Neural Network (DNNs)。 そこで我々は,非零要素がすべてパワー・オブ・ツーである小さな基底行列と大きなスパース係数行列の積として,各重み行列を格納できる,特別に好ましいDNN重み構造を強制する新しいアルゴリズムを開発した。 さらに、SmartExchange強化重量をフル活用し、エネルギー効率と遅延性能の両方を改善するための専用のアクセラレータを設計する。
  論文  参考訳（メタデータ） (2020-05-07T12:12:49Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。