論文の概要: Towards Efficient and Accurate Spiking Neural Networks via Adaptive Bit Allocation

• arxiv url: http://arxiv.org/abs/2506.23717v1
• Date: Mon, 30 Jun 2025 10:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:54.022938
• Title: Towards Efficient and Accurate Spiking Neural Networks via Adaptive Bit Allocation
• Title（参考訳）: 適応ビット割り当てによるスパイキングニューラルネットワークの効率的かつ高精度化に向けて
• Authors: Xingting Yao, Qinghao Hu, Fei Zhou, Tielong Liu, Gang Li, Peisong Wang, Jian Cheng,
• Abstract要約: マルチビットスパイクニューラルネットワーク(SNN)は最近、エネルギー効率と高精度なAIを追求する熱い研究スポットになっている。 本稿では,直接学習したSNNに対して,メモリと計算資源の微粒な層配置を実現するための適応ビット割り当て戦略を提案する。 具体的には、重みとスパイクの時間長とビット幅をパラメータ化し、勾配を通して学習し制御できるようにする。
• 参考スコア（独自算出の注目度）: 28.887204171915005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-bit spiking neural networks (SNNs) have recently become a heated research spot, pursuing energy-efficient and high-accurate AI. However, with more bits involved, the associated memory and computation demands escalate to the point where the performance improvements become disproportionate. Based on the insight that different layers demonstrate different importance and extra bits could be wasted and interfering, this paper presents an adaptive bit allocation strategy for direct-trained SNNs, achieving fine-grained layer-wise allocation of memory and computation resources. Thus, SNN's efficiency and accuracy can be improved. Specifically, we parametrize the temporal lengths and the bit widths of weights and spikes, and make them learnable and controllable through gradients. To address the challenges caused by changeable bit widths and temporal lengths, we propose the refined spiking neuron, which can handle different temporal lengths, enable the derivation of gradients for temporal lengths, and suit spike quantization better. In addition, we theoretically formulate the step-size mismatch problem of learnable bit widths, which may incur severe quantization errors to SNN, and accordingly propose the step-size renewal mechanism to alleviate this issue. Experiments on various datasets, including the static CIFAR and ImageNet and the dynamic CIFAR-DVS and DVS-GESTURE, demonstrate that our methods can reduce the overall memory and computation cost while achieving higher accuracy. Particularly, our SEWResNet-34 can achieve a 2.69\% accuracy gain and 4.16$\times$ lower bit budgets over the advanced baseline work on ImageNet. This work will be fully open-sourced.
• Abstract（参考訳）: マルチビットスパイクニューラルネットワーク(SNN)は最近、エネルギー効率と高精度なAIを追求する熱い研究スポットになっている。 しかし、より多くのビットが関与するにつれて、関連するメモリと計算の要求は、パフォーマンス改善が不釣り合いになるところまでエスカレートする。 異なるレイヤが異なる重要性を示し、余分なビットを無駄にし、干渉できるという知見に基づいて、直接学習されたSNNに対して適応的なビット割り当て戦略を示し、メモリと計算資源のきめ細かいレイヤ割り当てを実現する。 これにより、SNNの効率性と精度を向上させることができる。 具体的には、重みとスパイクの時間長とビット幅をパラメータ化し、勾配を通して学習し制御できるようにする。 変化可能なビット幅と時間長に起因する課題に対処するため、異なる時間長を処理し、時間長の勾配の導出を可能とし、スパイク量子化をよりよく行うことができる改良されたスパイキングニューロンを提案する。 さらに,SNNに重大量子化誤差を生じさせる学習可能なビット幅のステップサイズミスマッチ問題を理論的に定式化し,この問題を緩和するためのステップサイズ更新機構を提案する。 静的 CIFAR や ImageNet や動的 CIFAR-DVS や DVS-GESTURE など,様々なデータセットの実験により,高い精度でメモリと計算コストを削減できることが実証された。 特に、私たちのSEWResNet-34は、ImageNetの高度なベースライン作業よりも2.69\%の精度と4.16$\times$低いビット予算を達成できます。 この作業は完全にオープンソース化される予定だ。

関連論文リスト

• ZOBNN: Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters [0.0]
  本稿では,低精度ニューラルネットワークの3番目の利点として,耐故障性の改善について紹介する。 本稿では,メモリ障害がBNN(State-of-the-art binary neural network)に与える影響を包括的解析により検討する。 本稿では,新しい均一量子化手法により,フロートパラメータの範囲を制限することにより,BNNの信頼性を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-07-06T05:31:11Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Edge Inference with Fully Differentiable Quantized Mixed Precision Neural Networks [1.131071436917293]
  パラメータと演算をビット精度の低いものに量子化することで、ニューラルネットワークの推論にかなりのメモリとエネルギーを節約できる。 本稿では,エッジ計算を対象とする混合精度畳み込みニューラルネットワーク(CNN)の量子化手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:11:37Z)
• Converting Artificial Neural Networks to Spiking Neural Networks via Parameter Calibration [21.117214351356765]
  スパイキングニューラルネットワーク(SNN)は、次世代ニューラルネットワークの1つとして認識されている。 本研究では、ANNの重みをSNNにコピー&ペーストするだけで、必然的にアクティベーションミスマッチが発生することを論じる。 そこで本研究では,アクティベーションミスマッチを最小限に抑えるため,パラメータの調整を行う層ワイドパラメータキャリブレーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T18:22:09Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• Hessian Aware Quantization of Spiking Neural Networks [1.90365714903665]
  ニューロモルフィックアーキテクチャは、可変ビット精度と局所ビット精度の大規模並列計算を可能にする。 SNNトレーニングの現在の勾配に基づく方法は、複数の状態変数を持つ複雑なニューロンモデルを使用する。 我々は、勾配に基づくトレーニングと互換性を保ちつつ、状態変数の数を4倍に削減する単純化されたニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-29T05:27:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。