論文の概要: MD-SNN: Membrane Potential-aware Distillation on Quantized Spiking Neural Network

• arxiv url: http://arxiv.org/abs/2512.04443v1
• Date: Thu, 04 Dec 2025 04:27:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.984875
• Title: MD-SNN: Membrane Potential-aware Distillation on Quantized Spiking Neural Network
• Title（参考訳）: MD-SNN:量子スパイクニューラルネットワークにおける膜電位認識蒸留
• Authors: Donghyun Lee, Abhishek Moitra, Youngeun Kim, Ruokai Yin, Priyadarshini Panda,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる有望でエネルギー効率の良い代替手段を提供する。 SNNは、複雑な時間的ダイナミクスによるメモリと計算に関する課題に直面している。 量子化スパイキングニューラルネットワーク(MD-SNN)における膜対応蒸留の導入
• 参考スコア（独自算出の注目度）: 18.23285395499578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) offer a promising and energy-efficient alternative to conventional neural networks, thanks to their sparse binary activation. However, they face challenges regarding memory and computation overhead due to complex spatio-temporal dynamics and the necessity for multiple backpropagation computations across timesteps during training. To mitigate this overhead, compression techniques such as quantization are applied to SNNs. Yet, naively applying quantization to SNNs introduces a mismatch in membrane potential, a crucial factor for the firing of spikes, resulting in accuracy degradation. In this paper, we introduce Membrane-aware Distillation on quantized Spiking Neural Network (MD-SNN), which leverages membrane potential to mitigate discrepancies after weight, membrane potential, and batch normalization quantization. To our knowledge, this study represents the first application of membrane potential knowledge distillation in SNNs. We validate our approach on various datasets, including CIFAR10, CIFAR100, N-Caltech101, and TinyImageNet, demonstrating its effectiveness for both static and dynamic data scenarios. Furthermore, for hardware efficiency, we evaluate the MD-SNN with SpikeSim platform, finding that MD-SNNs achieve 14.85X lower energy-delay-area product (EDAP), 2.64X higher TOPS/W, and 6.19X higher TOPS/mm2 compared to floating point SNNs at iso-accuracy on N-Caltech101 dataset.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、疎二元活性化のおかげで、従来のニューラルネットワークに代わる有望でエネルギー効率のよい代替手段を提供する。 しかし、複雑な時空間力学と、トレーニング中のタイムステップをまたいだ複数のバックプロパゲーション計算の必要性により、メモリと計算オーバーヘッドに関する課題に直面している。 このオーバーヘッドを軽減するために、量子化などの圧縮技術がSNNに適用される。 しかし、SNNに量子化を鼻で適用すると、スパイクを発射する重要な要因である膜電位のミスマッチが発生し、精度が低下する。 本稿では, 膜電位を利用して膜電位, 膜電位, バッチ正規化量子化を緩和する, 量子化スパイキングニューラルネットワーク(MD-SNN)の膜認識蒸留について述べる。 我々の知る限り、この研究はSNNにおける膜電位知識蒸留の初めての応用である。 我々は、CIFAR10、CIFAR100、N-Caltech101、TinyImageNetなど、さまざまなデータセットに対するアプローチを検証する。 さらに, ハードウェア効率向上のために, MD-SNNをSpikeSimプラットフォームで評価し, N-Caltech101データセット上の浮動小数点SNNと比較して, MD-SNNが14.85倍, 2.64倍高いTOPS/W, 6.19倍高いTOPS/mm2が得られることを確認した。

関連論文リスト

• S$^2$NN: Sub-bit Spiking Neural Networks [53.08060832135342]
  スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供する。 最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。 1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$2$NNs)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T04:17:44Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Scalable Mechanistic Neural Networks for Differential Equations and Machine Learning [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 計算時間と空間複雑度はそれぞれ、列長に関して立方体と二次体から線形へと減少する。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Deep activity propagation via weight initialization in spiking neural networks [10.69085409825724]
  Spiking Neural Networks (SNN)は、スパーシリティや超低消費電力といったバイオインスパイアされた利点を提供する。 ディープSNNは、実数値膜電位をバイナリスパイクに量子化することで、情報を処理し、伝達する。 提案手法は, 従来の手法とは異なり, スパイクの損失を伴わずに, 深部SNNにおける活動の伝播を可能にすることを理論的に示す。
  論文  参考訳（メタデータ） (2024-10-01T11:02:34Z)
• Q-SNNs: Quantized Spiking Neural Networks [12.719590949933105]
  スパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、イベント駆動方式で処理する。 シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子化SNNを提案する。 本稿では,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T16:23:26Z)
• Low Precision Quantization-aware Training in Spiking Neural Networks with Differentiable Quantization Function [0.5046831208137847]
  この研究は、量子化されたニューラルネットワークの最近の進歩とスパイクニューラルネットワークのギャップを埋めることを目的としている。 これは、シグモイド関数の線形結合として表される量子化関数の性能に関する広範な研究を示す。 提案した量子化関数は、4つの人気のあるベンチマーク上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-05-30T09:42:05Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。