論文の概要: All in one timestep: Enhancing Sparsity and Energy efficiency in Multi-level Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2510.24637v1
- Date: Tue, 28 Oct 2025 17:03:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 15:35:37.294262
- Title: All in one timestep: Enhancing Sparsity and Energy efficiency in Multi-level Spiking Neural Networks
- Title（参考訳）: まとめ:マルチレベルスパイクニューラルネットワークにおける空間性とエネルギー効率の向上
- Authors: Andrea Castagnetti, Alain Pegatoquet, Benoît Miramond,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、最も有望なバイオインスパイアされたニューラルネットワークモデルの一つである。
瞬時スパイクのバイナリの性質は、SNNにかなりの情報損失をもたらし、精度が低下する。
本稿では,低量子化誤差と最小推論遅延を両立できるマルチレベルスパイキングニューロンモデルを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking Neural Networks (SNNs) are one of the most promising bio-inspired neural networks models and have drawn increasing attention in recent years. The event-driven communication mechanism of SNNs allows for sparse and theoretically low-power operations on dedicated neuromorphic hardware. However, the binary nature of instantaneous spikes also leads to considerable information loss in SNNs, resulting in accuracy degradation. To address this issue, we propose a multi-level spiking neuron model able to provide both low-quantization error and minimal inference latency while approaching the performance of full precision Artificial Neural Networks (ANNs). Experimental results with popular network architectures and datasets, show that multi-level spiking neurons provide better information compression, allowing therefore a reduction in latency without performance loss. When compared to binary SNNs on image classification scenarios, multi-level SNNs indeed allow reducing by 2 to 3 times the energy consumption depending on the number of quantization intervals. On neuromorphic data, our approach allows us to drastically reduce the inference latency to 1 timestep, which corresponds to a compression factor of 10 compared to previously published results. At the architectural level, we propose a new residual architecture that we call Sparse-ResNet. Through a careful analysis of the spikes propagation in residual connections we highlight a spike avalanche effect, that affects most spiking residual architectures. Using our Sparse-ResNet architecture, we can provide state-of-the-art accuracy results in image classification while reducing by more than 20% the network activity compared to the previous spiking ResNets.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、最も有望なバイオインスパイアされたニューラルネットワークモデルの一つであり、近年注目を集めている。
SNNのイベント駆動通信機構は、専用のニューロモルフィックハードウェア上での疎小かつ理論的に低消費電力な操作を可能にする。
しかし、瞬時スパイクのバイナリの性質はSNNにかなりの情報損失をもたらし、精度が低下する。
この問題に対処するために,完全精度の人工ニューラルネットワーク(ANN)の性能にアプローチしながら,低量子化誤差と最小推論遅延の両方を提供するマルチレベルスパイキングニューロンモデルを提案する。
一般的なネットワークアーキテクチャとデータセットによる実験結果から、マルチレベルスパイクニューロンはより優れた情報圧縮を提供するため、性能損失を伴わずに遅延を低減できることが示された。
画像分類シナリオのバイナリSNNと比較して、マルチレベルSNNは、量子化間隔の数に応じて、エネルギー消費の2倍から3倍の削減を可能にする。
ニューロモルフィックデータでは,従来の結果と比較して10の圧縮係数に対応する1つのタイムステップに,推論遅延を大幅に低減することができる。
アーキテクチャレベルでは、Sparse-ResNetと呼ぶ新しい残余アーキテクチャを提案する。
残差接続におけるスパイク伝播の慎重な解析を通して、スパイク雪崩効果を強調し、ほとんどのスパイク残差構造に影響を及ぼす。
Sparse-ResNetアーキテクチャを用いることで、画像分類における最先端の精度を向上しつつ、以前のスパイクしたResNetと比較してネットワークのアクティビティを20%以上削減できる。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。
ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。
次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
論文 参考訳（メタデータ） (2023-11-11T13:36:27Z) - Low Latency of object detection for spikng neural network [3.404826786562694]
スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。
本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
論文 参考訳（メタデータ） (2023-09-27T10:26:19Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳（メタデータ） (2022-09-21T21:17:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
重要でない接続を非活性化する簡易な重要スコア計量を提案する。
MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。
このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
論文 参考訳（メタデータ） (2021-09-22T15:33:49Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳（メタデータ） (2021-05-27T08:38:31Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。