論文の概要: Is Conventional SNN Really Efficient? A Perspective from Network Quantization

• arxiv url: http://arxiv.org/abs/2311.10802v1
• Date: Fri, 17 Nov 2023 09:48:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 14:10:35.307297
• Title: Is Conventional SNN Really Efficient? A Perspective from Network Quantization
• Title（参考訳）: 従来のSNNは本当に効率的か? ネットワーク量子化の展望
• Authors: Guobin Shen, Dongcheng Zhao, Tenglong Li, Jindong Li, Yi Zeng
• Abstract要約: スパイキングニューラルネットワーク(SNN)はその高エネルギー効率と膨大なポテンシャルで広く称賛されている。 しかし、SNNと量子化ニューラルネットワーク(ANN)を批判的に対比し、関連付ける包括的な研究はいまだに残っていない。 本稿では、SNNにおける時間ステップとアクティベーション値の量子化ビット幅が類似表現であることを示す統一的な視点を紹介する。
• 参考スコア（独自算出の注目度）: 7.04833025737147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) have been widely praised for their high energy efficiency and immense potential. However, comprehensive research that critically contrasts and correlates SNNs with quantized Artificial Neural Networks (ANNs) remains scant, often leading to skewed comparisons lacking fairness towards ANNs. This paper introduces a unified perspective, illustrating that the time steps in SNNs and quantized bit-widths of activation values present analogous representations. Building on this, we present a more pragmatic and rational approach to estimating the energy consumption of SNNs. Diverging from the conventional Synaptic Operations (SynOps), we champion the "Bit Budget" concept. This notion permits an intricate discourse on strategically allocating computational and storage resources between weights, activation values, and temporal steps under stringent hardware constraints. Guided by the Bit Budget paradigm, we discern that pivoting efforts towards spike patterns and weight quantization, rather than temporal attributes, elicits profound implications for model performance. Utilizing the Bit Budget for holistic design consideration of SNNs elevates model performance across diverse data types, encompassing static imagery and neuromorphic datasets. Our revelations bridge the theoretical chasm between SNNs and quantized ANNs and illuminate a pragmatic trajectory for future endeavors in energy-efficient neural computations.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)はその高エネルギー効率と膨大なポテンシャルで広く称賛されている。 しかしながら、SNNと量子化ニューラルネットワーク(ANN)を批判的に対比し関連付ける包括的な研究は、しばしばANNに対する公正さに欠ける歪んだ比較につながる。 本稿では、SNNにおける時間ステップとアクティベーション値の量子化ビット幅が類似表現であることを示す統一的な視点を紹介する。 これに基づいて,SNNのエネルギー消費を推定するための,より実用的で合理的なアプローチを提案する。 従来のシナプス操作(SynOps)から切り離され、我々は"Bit Budget"の概念を擁護します。 この概念は、厳密なハードウェア制約の下で、重み、アクティベーション値、時間的ステップの間の計算資源とストレージリソースを戦略的に割り当てることに関する複雑な議論を可能にする。 ビット予算パラダイムに導かれ、スパイクパターンや重み量子化への取り組みが、時間的属性よりもむしろモデルパフォーマンスに重大な影響を及ぼすことを認識している。 SNNの全体設計を考慮したBit Budgetの利用により、静的画像とニューロモルフィックデータセットを含む、さまざまなデータタイプにわたるモデルパフォーマンスが向上する。 我々の発見は、SNNと量子化されたANNの理論的因果関係を橋渡しし、エネルギー効率のよいニューラル計算における将来の取り組みのための実用的な軌道を照らす。

関連論文リスト

• Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。 本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
  論文  参考訳（メタデータ） (2024-05-27T05:53:30Z)
• Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
  スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。 SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。 本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:23:50Z)
• Are SNNs Truly Energy-efficient? $-$ A Hardware Perspective [7.539212567508529]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率のよい機械学習能力に注目を集めている。 本研究では,SATAとSpikeSimという,大規模SNN推論のための2つのハードウェアベンチマークプラットフォームについて検討する。
  論文  参考訳（メタデータ） (2023-09-06T22:23:22Z)
• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
  ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。 スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。 実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
  論文  参考訳（メタデータ） (2022-09-21T21:17:56Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• SATA: Sparsity-Aware Training Accelerator for Spiking Neural Networks [4.44525458129903]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。 SATA(Sparsity-Aware Training Accelerator)は,SNNのためのBPTTベースのトレーニングアクセラレータである。 スパーシティを利用することで、SATAはスパーシティを使わずに計算エネルギー効率を5.58倍に向上させる。
  論文  参考訳（メタデータ） (2022-04-11T21:49:45Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object Tracking [20.595208488431766]
  SiamSNNは、視覚オブジェクト追跡ベンチマークであるTB2013, VOT2016, GOT-10kにおいて、短いレイテンシと低い精度の損失を達成する最初のディープSNNトラッカーである。 SiamSNNは、ニューロモルフィックチップTrueNorth上で低エネルギー消費とリアルタイムを実現する。
  論文  参考訳（メタデータ） (2020-03-17T08:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。