論文の概要: Optimal Spiking Brain Compression: Improving One-Shot Post-Training Pruning and Quantization for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2506.03996v1
• Date: Wed, 04 Jun 2025 14:23:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.378584
• Title: Optimal Spiking Brain Compression: Improving One-Shot Post-Training Pruning and Quantization for Spiking Neural Networks
• Title（参考訳）: 最適スパイク脳圧縮:スパイクニューラルネットワークの1ショット後処理と量子化の改善
• Authors: Lianfeng Shi, Ao Li, Benjamin Ward-Cherrier,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアの実装に適したエネルギー効率の良いニューラルネットの新世代として登場した。 近年,SNNの効率向上のために,軽量プルーニングと量子化が検討されている。 そこで我々は,SNNのための新しいワンショット訓練後プルーニング/量子化フレームワーク,OSBC(Optimal Spiking Brain Compression)を提案する。
• 参考スコア（独自算出の注目度）: 2.3222699639842244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) have emerged as a new generation of energy-efficient neural networks suitable for implementation on neuromorphic hardware. As neuromorphic hardware has limited memory and computing resources, weight pruning and quantization have recently been explored to improve SNNs' efficiency. State-of-the-art SNN pruning/quantization methods employ multiple compression and training iterations, increasing the cost for pre-trained or very large SNNs. In this paper, we propose a new one-shot post-training pruning/quantization framework, Optimal Spiking Brain Compression (OSBC), that adapts the Optimal Brain Compression (OBC) method of [Frantar, Singh, and Alistarh, 2023] for SNNs. Rather than minimizing the loss on neuron input current as OBC does, OSBC achieves more efficient and accurate SNN compression in one pass by minimizing the loss on spiking neuron membrane potential with a small sample dataset. Our experiments on neuromorphic datasets (N-MNIST, CIFAR10-DVS, DVS128-Gesture) demonstrate that OSBC can achieve 97% sparsity through pruning with 1.41%, 10.20%, and 1.74% accuracy loss, or 4-bit symmetric quantization with 0.17%, 1.54%, and 7.71% accuracy loss, respectively. Code will be available on GitHub.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアの実装に適したエネルギー効率の良いニューラルネットの新世代として登場した。 ニューロモルフィックハードウェアはメモリと計算資源が限られているため、最近SNNの効率を改善するために重み付けと量子化が研究されている。 最先端のSNNプルーニング/量子化手法では、複数回の圧縮とトレーニングを繰り返し、事前訓練されたSNNや非常に大きなSNNのコストを増大させる。 本稿では,SNN 用 (Frantar, Singh, Alistarh, 2023) の OBC (Optimal Spiking Brain Compression) 法を適応する,新しいワンショット訓練後プルーニング/量子化フレームワークである Optimal Spiking Brain Compression (OSBC) を提案する。 OBCのようにニューロン入力電流の損失を最小化する代わりに、OSBCは小さなサンプルデータセットでスパイキングニューロン膜電位の損失を最小化することにより、1回のパスでより効率的で正確なSNN圧縮を実現する。 ニューロモルフィックデータセット (N-MNIST, CIFAR10-DVS, DVS128-Gesture) を用いた実験により, OSBC は 1.41%, 10.20%, 1.74% のプルーニング, 0.17%, 1.54%, 7.71% の4ビット対称量子化により, 97% の間隔を達成可能であることが示された。 コードはGitHubで入手できる。

関連論文リスト

• Decoding finger velocity from cortical spike trains with recurrent spiking neural networks [6.404492073110551]
  侵襲的脳-機械インタフェース(BMI)は運動障害患者の生活の質を著しく向上させる。 BMIは信頼性の高い復号化性能を提供しながら、厳格なレイテンシとエネルギー制約を満たす必要がある。 2匹のマカクザルの皮質スパイク列から指の速度を復号するためにRSNNを訓練した。
  論文  参考訳（メタデータ） (2024-09-03T10:15:33Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Adaptive Sparse Structure Development with Pruning and Regeneration for Spiking Neural Networks [6.760855795263126]
  スパイキングニューラルネットワーク(SNN)は、深層ニューラルネットワークのエネルギー問題を緩和するために、脳発達のスパース構造的可塑性を描くという自然な利点がある。 本稿では, 樹状突起塑性をベースとしたシナプス拘束, 神経切断, シナプス再生を取り入れたSNNの適応的構造発達手法を提案する。
  論文  参考訳（メタデータ） (2022-11-22T12:23:30Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning [6.417011237981518]
  漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。 我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。 そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
  論文  参考訳（メタデータ） (2021-09-04T17:13:28Z)
• Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。 ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。 本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
  論文  参考訳（メタデータ） (2021-05-11T10:05:53Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。