論文の概要: SpikeQ: Spike-Guided Post-Training Quantization for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2610.23046v1
- Date: Fri, 16 Oct 2026 07:24:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.805171
- Title: SpikeQ: Spike-Guided Post-Training Quantization for Spiking Neural Networks
- Title(参考訳): SpikeQ:スパイキングニューラルネットワークのためのスパイクガイド付きポストトレーニング量子化
- Abstract要約: ニューロモルフィックチップでは、スパイキングニューラルネットワーク(SNN)は人工ニューラルネットワーク(ANN)よりもはるかに少ないエネルギーを消費する
SNNのためのスパイク誘導PTQフレームワークであるSpikeQを提案する。
画像分類,セマンティックセグメンテーション,オブジェクト検出の7つのベンチマークでSpikeQを評価する。
- 参考スコア(独自算出の注目度): 8.135119047277197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On neuromorphic chips, spiking neural networks (SNNs) consume far less energy than artificial neural networks (ANNs), but the limited memory of these chips requires low-bit synaptic weights and membrane potentials. Existing post-training quantization (PTQ) methods provide them without retraining and, like those for ANNs, minimize numerical errors such as the mean squared error (MSE). In an SNN, however, a quantization error reaches later layers only through the spikes it flips. We find that errors of equal MSE can cause very different accuracy losses, whereas errors that flip the same fraction of spikes cause the same loss. We therefore propose SpikeQ, a spike-guided PTQ framework. For weights, we select the level of each weight by simulating the downstream neurons and minimizing their spike errors. For membrane potentials, most existing methods quantize the state after the reset, whereas neuromorphic chips compare the threshold with the membrane potential stored at a fixed bit width. We target this pre-fire quantization and build a reset-aware grid that places the threshold on a rounding boundary, so rounding never flips the spike at the current time step. We evaluate SpikeQ on seven benchmarks of image classification, semantic segmentation, and object detection. With 2-bit pre-fire membrane potentials, every existing grid collapses, whereas SpikeQ retains most of the full-precision accuracy. With both at 4 bits, the models stay within 2.59 points of full precision, shrink their memory footprint 7.8--7.9 times, and use 6.4--6.9 times less energy.
- Abstract(参考訳): ニューロモルフィックチップでは、スパイキングニューラルネットワーク(SNN)は人工ニューラルネットワーク(ANN)よりもはるかに少ないエネルギーを消費するが、これらのチップの限られたメモリは低ビットのシナプス重みと膜電位を必要とする。
既存のトレーニング後量子化法(PTQ)は、再トレーニングをせずに、ANNと同様に平均二乗誤差(MSE)のような数値誤差を最小化する。
しかしながら、SNNでは、量子化エラーが後続の層に到達するのは、それが反転するスパイクを通してのみである。
同一のMSEの誤差は、全く異なる精度の損失を引き起こすが、同じスパイクを反転させる誤差は、同じ損失を引き起こす。
そこで,スパイク誘導型PTQフレームワークであるSpikeQを提案する。
重みについては、下流ニューロンをシミュレートし、スパイクエラーを最小限にすることで、各重みのレベルを選択する。
膜電位について、既存のほとんどの方法はリセット後の状態を定量化するが、ニューロモルフィックチップは閾値と固定ビット幅の膜電位を比較する。
このプリファイア量子化を目標とし、閾値を丸い境界に配置するリセット対応グリッドを構築します。
画像分類,セマンティックセグメンテーション,オブジェクト検出の7つのベンチマークでSpikeQを評価する。
2ビット前の膜電位では、既存のグリッドはすべて崩壊するが、SpikeQは完全な精度を保っている。
どちらも4ビットであり、完全な精度で2.59ポイント以内に留まり、メモリフットプリントを7.8~7.9倍縮小し、エネルギーを6.4~6.9倍削減する。
関連論文リスト
- Same Bit Width, Different Outcomes: Post-Training Quantization of Text-to-Speech Across Architectures [3.636240564994662]
トレーニング後量子化(PTQ)はデバイス上でのテキスト音声(TTS)のコストを削減する
我々は,TTSアーキテクチャ上でのPTQを1つのプロトコルで評価し,3つのコアモデル,さらに8つの重み付けとアクティベーションの短縮,および2つのホールドアウトモデルを定量化した。
論文 参考訳(メタデータ) (2026-09-24T03:41:28Z) - PTQ4SNN: Membrane-Aware Post-Training Quantization for Spiking Neural Networks [51.21235018272886]
スパイキングニューラルネットワーク(SNN)はスパースとイベント駆動の計算を可能にするが、その低ビット展開は不完全である。
本稿では,小さなキャリブレーションセットのみを用いて,重みと繰り返し膜状態の同時定量化を行う膜認識後量子化フレームワークPTQ4SNNを提案する。
静的および事象に基づく分類とセマンティックセグメンテーションの実験により、PTQ4SNNはW4量子化と約4ビットの膜精度の下でモデル精度を効果的に保存することを示した。
論文 参考訳(メタデータ) (2026-08-07T10:16:25Z) - Spike-driven Large Language Model [49.52947423982696]
スパイキングニューラルネットワーク(SNN)はスパイク駆動特性を持つ。
現在のLarge Language Models (LLM) は主に大規模密度行列乗法に基づいている。
本研究では,スパース加算操作により高密度行列乗算を除去するスパイク駆動型大規模言語モデルであるSDLLMを提案する。
論文 参考訳(メタデータ) (2026-04-11T17:58:35Z) - Ternary Spike: Learning Ternary Spikes for Spiking Neural Networks [19.304952813634994]
Spiking Neural Network(SNN)は、生物学的にインスパイアされたニューラルネットワーク基盤である。
本稿では,情報伝達のための3次スパイクニューロンを提案する。
3次スパイクは、常に最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-12-11T13:28:54Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳(メタデータ) (2023-02-01T04:22:59Z) - QDrop: Randomly Dropping Quantization for Extremely Low-bit
Post-Training Quantization [54.44028700760694]
ポストトレーニング量子化(PTQ)は、長時間のリトレーニングなしに効率的なニューラルネットワークを生成するために多くの注目を集めている。
本研究では,PTQ再構成にアクティベーション量子化を適切に組み込むことで,最終的な精度が向上することを先駆的に確認する。
結論に基づき、QDROPと呼ばれる単純な効果的なアプローチが提案され、PTQ中のアクティベーションの量子化をランダムに減少させる。
論文 参考訳(メタデータ) (2022-03-11T04:01:53Z) - The fine line between dead neurons and sparsity in binarized spiking
neural networks [1.370633147306388]
スパイキングニューラルネットワークは、情報を符号化したり、離散化された量を処理することによって、量子化エラーを補償することができる。
本稿では,しきい値のウォームアップ手法としてしきい値アニーリング(しきい値アニーリング)を提案する。
ニューロンの発火が止まる複数の層にスパイクを伝播させることで、4つの多様なデータセットに対して高い競争力を持つ結果が得られることを示す。
論文 参考訳(メタデータ) (2022-01-28T03:33:12Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳(メタデータ) (2021-10-28T17:58:45Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳(メタデータ) (2021-04-29T05:50:54Z) - Hessian Aware Quantization of Spiking Neural Networks [1.90365714903665]
ニューロモルフィックアーキテクチャは、可変ビット精度と局所ビット精度の大規模並列計算を可能にする。
SNNトレーニングの現在の勾配に基づく方法は、複数の状態変数を持つ複雑なニューロンモデルを使用する。
我々は、勾配に基づくトレーニングと互換性を保ちつつ、状態変数の数を4倍に削減する単純化されたニューロンモデルを提案する。
論文 参考訳(メタデータ) (2021-04-29T05:27:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。