論文の概要: SpikeFit: Towards Optimal Deployment of Spiking Networks on Neuromorphic Hardware
- arxiv url: http://arxiv.org/abs/2510.15542v2
- Date: Fri, 31 Oct 2025 23:46:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-04 16:14:22.329158
- Title: SpikeFit: Towards Optimal Deployment of Spiking Networks on Neuromorphic Hardware
- Title（参考訳）: SpikeFit: ニューロモルフィックハードウェア上でのスパイキングネットワークの最適展開に向けて
- Authors: Ivan Kartashov, Mariia Pushkareva, Iakov Karandashev,
- Abstract要約: SpikeFitは、ニューロモルフィックハードウェアの効率的な推論を可能にするスパイキングニューラルネットワーク(SNN)のトレーニング方法である。
許容重みの離散値は、モデルと共最適化された学習可能なパラメータとして扱う。
我々は,4つの特異なシナプス重み値(M = 4)に制約されたニューラルネットワークをスパイキングする場合,SpikeFit法は最先端のSNN圧縮法より優れていることを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces SpikeFit, a novel training method for Spiking Neural Networks (SNNs) that enables efficient inference on neuromorphic hardware, considering all its stringent requirements: the number of neurons and synapses that can fit on a single device, and lower bit-width representations (e.g., 4-bit, 8-bit). Unlike conventional compressing approaches that address only a subset of these requirements (limited numerical precision and limited number of neurons in the network), SpikeFit treats the allowed weights' discrete values themselves as learnable parameters co-optimized with the model, allowing for optimal Clusterization-Aware Training (CAT) of the model's weights at low precision (2-, 4-, or 8-bit) which results in higher network compression efficiency, as well as limiting the number of unique synaptic connections to a value required by neuromorphic processor. This joint optimization allows SpikeFit to find a discrete weight set aligned with hardware constraints, enabling the most complete deployment across a broader range of neuromorphic processors than existing methods of SNN compression support. Moreover, SpikeFit introduces a new hardware-friendly Fisher Spike Contribution (FSC) pruning method showing the state-of-the-art performance. We demonstrate that for spiking neural networks constrained to only four unique synaptic weight values (M = 4), our SpikeFit method not only outperforms state-of-the-art SNNs compression methods and conventional baselines combining extreme quantization schemes and clustering algorithms, but also meets a wider range of neuromorphic hardware requirements and provides the lowest energy use in experiments.
- Abstract（参考訳）: 本稿では,1つのデバイスに適合するニューロンやシナプスの数,ビット幅の低い表現(例:4ビット,8ビット)を考慮し,ニューロモルフィックハードウェア上で効率的な推論を可能にするスパイキングニューラルネットワーク(SNN)の新たなトレーニング手法であるSpikeFitを紹介する。
これらの要件のサブセットのみに対処する従来の圧縮アプローチとは違って、SpikeFitは許容重量の離散値自体を学習可能なパラメータとしてモデルに最適化し、低精度(2ビット、4ビット、または8ビット)でモデルの重みを最適なクラスタ化・アウェアトレーニング(CAT)を行うことで、ネットワーク圧縮効率が向上し、ニューロモルフィックプロセッサが要求する値に固有のシナプス接続の数を制限する。
この共同最適化により、SpikeFitはハードウェア制約に整合した離散的な重み付けを見つけることができ、既存のSNN圧縮サポート方法よりも幅広いニューロモルフィックプロセッサをまたいで、最も完全なデプロイを可能にする。
さらに、SpikeFitは新しいハードウェアフレンドリーなFisher Spike Contribution (FSC)プルーニング手法を導入し、最先端のパフォーマンスを示している。
我々は,4つのシナプス重み値(M = 4)に制限されたニューラルネットワークをスパイクする場合,我々のSpikeFit法は,最先端のSNN圧縮法と,極端な量子化スキームとクラスタリングアルゴリズムを組み合わせた従来のベースラインよりも優れるだけでなく,より広い範囲のニューロモルフィックハードウェア要件を満たし,実験で最低エネルギー利用を提供することを示した。
関連論文リスト
- SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions [18.749300190253624]
ベイズ変分学習(SQS)による同時プルーニングと低ビット量子化のための統合フレームワークを提案する。
理論的には、スパースで量子化されたディープニューラルネットワークに対する我々の提案した変分アプローチの一貫性のある結果を提供する。
論文 参考訳（メタデータ） (2025-10-10T04:54:29Z) - Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding [56.066799081747845]
成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。
本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。
この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
論文 参考訳（メタデータ） (2025-05-24T15:52:49Z) - Scalable Neural Network Kernels [22.299704296356836]
我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。
また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。
我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
論文 参考訳（メタデータ） (2023-10-20T02:12:56Z) - Low Precision Quantization-aware Training in Spiking Neural Networks
with Differentiable Quantization Function [0.5046831208137847]
この研究は、量子化されたニューラルネットワークの最近の進歩とスパイクニューラルネットワークのギャップを埋めることを目的としている。
これは、シグモイド関数の線形結合として表される量子化関数の性能に関する広範な研究を示す。
提案した量子化関数は、4つの人気のあるベンチマーク上での最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-05-30T09:42:05Z) - Gradient-descent hardware-aware training and deployment for mixed-signal
Neuromorphic processors [2.812395851874055]
混合信号ニューロモルフィックプロセッサはエッジ推論ワークロードに対して極めて低消費電力な演算を提供する。
我々は、混合信号型ニューロモルフィックプロセッサDYNAP-SE2へのスパイキングニューラルネットワーク(SNN)の訓練と展開のための新しい手法を実証する。
論文 参考訳（メタデータ） (2023-03-14T08:56:54Z) - Vertical Layering of Quantized Neural Networks for Heterogeneous
Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。
理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文 参考訳（メタデータ） (2022-12-10T15:57:38Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳（メタデータ） (2021-06-24T12:23:05Z) - Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。
本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文 参考訳（メタデータ） (2020-09-18T09:13:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。