論文の概要: Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment
- arxiv url: http://arxiv.org/abs/2608.13952v1
- Date: Fri, 14 Aug 2026 04:46:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.28399
- Title: Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment
- Title(参考訳): 残留膜電位アライメントによるANN-SNN変換誤差の低減
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。
ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。
既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
- 参考スコア(独自算出の注目度): 52.910770415431244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) serve as core architectures for neuromorphic computing thanks to event-driven operation and ultra-low power consumption. Direct SNN training is hindered by non-differentiable spikes that induce vanishing gradients and unstable optimization. ANN-SNN conversion circumvents such issues by reusing well-trained ANN weights for low-latency, energy-efficient inference. Nevertheless, existing conversion schemes suffer from severe accuracy drops at small timesteps, large inference delays and cumulative quantization errors, even with marginal performance loss at large $T$. To address these limitations, we first analyze flaws of conventional conversion pipelines from residual membrane potential statistics and propose a novel conversion strategy combining dynamic initial potential tuning and feature enhancement. We then introduce a regularization loss $\mathcal{L}_{\mathrm{RMPD}}$ to adapt initial potential of IF neurons and mitigate systematic truncation bias from boundary aggregation. A dedicated SCR-Conv2d competitive refinement layer with grouped convolution is further built to sharpen feature discrimination, eliminate redundant spikes and stabilize encoding under tiny time windows. Integrated with the state-of-the-art QCFS baseline, our approach delivers consistent low-latency performance gains and generalizes to ReLU CNNs, ANN Transformers, and multi-threshold SNN variants. Evaluations on CIFAR-10, CIFAR-100 and ImageNet verify prominent accuracy improvements at $T=2,4,8$, with negligible extra computation overhead. This work offers an effective conversion paradigm to facilitate real-world SNN deployment on neuromorphic chips.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、イベント駆動操作と超低消費電力のおかげで、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。
直接SNNトレーニングは、消滅する勾配と不安定な最適化を引き起こす非微分不可能なスパイクによって妨げられる。
ANN-SNN変換は、低レイテンシでエネルギー効率のよい推定のために、よく訓練されたANN重みを再利用することでそのような問題を回避している。
それでも、既存の変換方式は、小さなタイミングで深刻な精度低下、大きな推論遅延、累積量子化誤差に悩まされている。
これらの制約に対処するため, 従来の変換パイプラインの欠陥を残留膜電位統計から解析し, 動的初期電位チューニングと特徴強調を組み合わせた新しい変換戦略を提案する。
次に正規化損失$\mathcal{L}_{\mathrm{RMPD}}$を導入し、IFニューロンの初期電位を適応させ、境界アグリゲーションから系統的トランケーションバイアスを緩和する。
グループ畳み込みによる専用のSCR-Conv2d競合洗練層がさらに構築され、特徴の識別を洗練し、余分なスパイクを排除し、小さな時間窓の下でエンコーディングを安定化する。
我々の手法は最先端のQCFSベースラインと統合され、一貫した低レイテンシ性能を実現し、ReLU CNN、ANN変換器、マルチスレッドSNNに一般化する。
CIFAR-10、CIFAR-100、ImageNetの評価では、T=2,4,8$で大幅に精度が向上し、余分な計算オーバーヘッドが無視できる。
この研究は、ニューロモルフィックチップ上での現実世界のSNN展開を容易にする効果的な変換パラダイムを提供する。
関連論文リスト
- Intrinsically Stable Spiking Neural Networks: Overcoming the Performance Barrier in the Absence of Batch Normalization [6.399076427640221]
本研究では、信号ホメオスタシスを強制することによって活性化正規化層を除去するIntrinsically Staable SNNアーキテクチャを提案する。
標準化操作をオフラインで静的な重みに折り畳むことで、IS-SNNはアクティベーション正規化によって導入された実行時統計の追跡と乗算を取り除く。
実験の結果,IS-SNN は計算コストの高い BN 技術と競合するか,あるいは性能に優れていることが示された。
論文 参考訳(メタデータ) (2026-06-30T14:07:21Z) - Error Amplification Limits ANN-to-SNN Conversion in Continuous Control [64.99656514469972]
スパイキングニューラルネットワーク(SNN)は、すでに訓練済みのニューラルネットワーク(ANN)を変換することで、競争性能を達成することができる。
既存の変換法は、適切なベースラインがほとんど存在しないような連続的な制御では性能が良くない。
本研究では, 時間的相関誤差を抑制するために, 残留膜電位を決定段階にわたって超過する軽量なトレーニング自由機構であるCRPIを提案する。
論文 参考訳(メタデータ) (2026-01-29T14:28:00Z) - S$^2$NN: Sub-bit Spiking Neural Networks [53.08060832135342]
スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供する。
最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。
1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$2$NNs)を提案する。
論文 参考訳(メタデータ) (2025-09-29T04:17:44Z) - CaRe-BN: Precise Moving Statistics for Stabilizing Spiking Neural Networks in Reinforcement Learning [50.87795054453648]
Spiking Neural Networks (SNN)は、ニューロモルフィックハードウェア上で低レイテンシでエネルギー効率の意思決定を提供する。
スパイクの離散的かつ微分不可能な性質のため、直接訓練されたSNNは勾配更新を安定させるためにバッチ正規化(BN)に大きく依存する。
オンライン強化学習(RL)では、BN統計は搾取を妨げ、収束と準最適政策を遅くする。
論文 参考訳(メタデータ) (2025-09-28T10:21:17Z) - Efficient ANN-SNN Conversion with Error Compensation Learning [20.155985131466174]
スパイクニューラルネットワーク(SNN)は離散スパイクイベントを通じて動作し、より優れたエネルギー効率を提供する。
現在のANN-to-SNN変換は、しばしば変換エラーによる精度の低下と推論時間の増加をもたらす。
本稿では,誤り補償学習に基づく新しいANN-to-SNN変換フレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-12T15:31:34Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳(メタデータ) (2024-12-05T09:41:33Z) - Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization [30.098268054714048]
非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。
ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。
本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。
そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
論文 参考訳(メタデータ) (2022-05-16T06:53:14Z) - Optimized Potential Initialization for Low-latency Spiking Neural
Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。
ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。
本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文 参考訳(メタデータ) (2022-02-03T07:15:43Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-03-27T00:45:23Z) - Optimal Conversion of Conventional Artificial Neural Networks to Spiking
Neural Networks [0.0]
spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。
しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。
提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
論文 参考訳(メタデータ) (2021-02-28T12:04:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。