論文の概要: Quantization Meets Spikes: Lossless Conversion in the First Timestep via Polarity Multi-Spike Mapping

• arxiv url: http://arxiv.org/abs/2508.14520v1
• Date: Wed, 20 Aug 2025 08:30:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.387965
• Title: Quantization Meets Spikes: Lossless Conversion in the First Timestep via Polarity Multi-Spike Mapping
• Title（参考訳）: 量子化とスパイクス:極性マルチスパイクマッピングによる第1段階のロスレス変換
• Authors: Hangming Zhang, Zheng Li, Qiang Yu,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、イベント駆動コンピューティングによる計算効率の利点を提供する。 従来の人工ニューラルネットワーク(Ann)は、トレーニング中に高い計算とエネルギーコストに悩まされることが多い。 Anns-to-SNN変換アプローチは依然として価値があり実用的な代替手段である。
• 参考スコア（独自算出の注目度）: 8.32624081553367
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Spiking neural networks (SNNs) offer advantages in computational efficiency via event-driven computing, compared to traditional artificial neural networks (ANNs). While direct training methods tackle the challenge of non-differentiable activation mechanisms in SNNs, they often suffer from high computational and energy costs during training. As a result, ANN-to-SNN conversion approach still remains a valuable and practical alternative. These conversion-based methods aim to leverage the discrete output produced by the quantization layer to obtain SNNs with low latency. Although the theoretical minimum latency is one timestep, existing conversion methods have struggled to realize such ultra-low latency without accuracy loss. Moreover, current quantization approaches often discard negative-value information following batch normalization and are highly sensitive to the hyperparameter configuration, leading to degraded performance. In this work, we, for the first time, analyze the information loss introduced by quantization layers through the lens of information entropy. Building on our analysis, we introduce Polarity Multi-Spike Mapping (PMSM) and a hyperparameter adjustment strategy tailored for the quantization layer. Our method achieves nearly lossless ANN-to-SNN conversion at the extremity, i.e., the first timestep, while also leveraging the temporal dynamics of SNNs across multiple timesteps to maintain stable performance on complex tasks. Experimental results show that our PMSM achieves state-of-the-art accuracies of 98.5% on CIFAR-10, 89.3% on CIFAR-100 and 81.6% on ImageNet with only one timestep on ViT-S architecture, establishing a new benchmark for efficient conversion. In addition, our method reduces energy consumption by over 5x under VGG-16 on CIFAR-10 and CIFAR-100, compared to the baseline method.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、従来の人工知能ニューラルネットワーク(ANN)と比較して、イベント駆動型コンピューティングによる計算効率の優位性を提供する。 直接訓練法は、SNNにおいて微分不可能な活性化機構の課題に対処するが、訓練中は高い計算量とエネルギーコストに悩まされることが多い。 結果として、ANN-to-SNN変換アプローチは依然として有用で実用的な代替手段である。 これらの変換に基づく手法は、量子化層が生成した離散出力を利用して低レイテンシでSNNを得る。 理論上の最小レイテンシは1つの時間ステップであるが、既存の変換手法は精度の低下なしにそのような超低レイテンシを実現するのに苦労している。 さらに、現在の量子化手法は、バッチ正規化後の負値情報を破棄することが多く、ハイパーパラメータの構成に非常に敏感であり、性能が劣化する。 本研究では,情報エントロピーのレンズを用いて,量子化層がもたらした情報損失を初めて解析する。 この分析に基づいて、偏極性多重スパイクマッピング(PMSM)と、量子化層に適したハイパーパラメータ調整戦略を導入する。 提案手法は,SNNの時間的ダイナミクスを複数の時間ステップにわたって活用し,複雑なタスクにおける安定した性能を維持すると同時に,最短時間におけるほぼロスレスなANN-to-SNN変換を実現する。 実験の結果,CIFAR-10では98.5%,CIFAR-100では89.3%,ImageNetでは81.6%,ViT-Sアーキテクチャでは81.6%の精度が得られた。 また, CIFAR-10 と CIFAR-100 では, VGG-16 のエネルギー消費量を 5 倍以上削減する。

関連論文リスト

• Efficient ANN-SNN Conversion with Error Compensation Learning [20.155985131466174]
  スパイクニューラルネットワーク(SNN)は離散スパイクイベントを通じて動作し、より優れたエネルギー効率を提供する。 現在のANN-to-SNN変換は、しばしば変換エラーによる精度の低下と推論時間の増加をもたらす。 本稿では,誤り補償学習に基づく新しいANN-to-SNN変換フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-12T15:31:34Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
  Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する 本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。 さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
  論文  参考訳（メタデータ） (2024-03-27T09:25:20Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
  スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。 ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。 本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
  論文  参考訳（メタデータ） (2023-02-21T14:10:56Z)
• Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization [30.098268054714048]
  非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。 ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。 本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。 そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
  論文  参考訳（メタデータ） (2022-05-16T06:53:14Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Optimized Potential Initialization for Low-latency Spiking Neural Networks [21.688402090967497]
  スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。 ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。 本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
  論文  参考訳（メタデータ） (2022-02-03T07:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。