論文の概要: Full Integer Arithmetic Online Training for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2509.06636v1
• Date: Mon, 08 Sep 2025 12:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.135876
• Title: Full Integer Arithmetic Online Training for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークのための完全整数算術オンライントレーニング
• Authors: Ismael Gomez, Guangzhi Tang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とエネルギー効率のために、ニューロモルフィックコンピューティングを約束している。 この研究は、混合精度アプローチを用いて整数のみのオンライントレーニングアルゴリズムを導入し、効率を改善し、メモリ使用量を60%以上削減する。
• 参考スコア（独自算出の注目度）: 0.006486143522483092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) are promising for neuromorphic computing due to their biological plausibility and energy efficiency. However, training methods like Backpropagation Through Time (BPTT) and Real Time Recurrent Learning (RTRL) remain computationally intensive. This work introduces an integer-only, online training algorithm using a mixed-precision approach to improve efficiency and reduce memory usage by over 60%. The method replaces floating-point operations with integer arithmetic to enable hardware-friendly implementation. It generalizes to Convolutional and Recurrent SNNs (CSNNs, RSNNs), showing versatility across architectures. Evaluations on MNIST and the Spiking Heidelberg Digits (SHD) dataset demonstrate that mixed-precision models achieve accuracy comparable to or better than full-precision baselines using 16-bit shadow and 8- or 12-bit inference weights. Despite some limitations in low-precision and deeper models, performance remains robust. In conclusion, the proposed integer-only online learning algorithm presents an effective solution for efficiently training SNNs, enabling deployment on resource-constrained neuromorphic hardware without sacrificing accuracy.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とエネルギー効率のために、ニューロモルフィックコンピューティングを約束している。 しかし、BPTT (Backproagation Through Time) やRTRL (Real Time Recurrent Learning) のような学習手法は、計算集約的なままである。 この研究は、混合精度アプローチを用いて整数のみのオンライントレーニングアルゴリズムを導入し、効率を改善し、メモリ使用量を60%以上削減する。 この方法は、ハードウェアフレンドリーな実装を可能にするために浮動小数点演算を整数演算に置き換える。 ConvolutionalとRecurrent SNN(CSNN、RSNN)に一般化され、アーキテクチャ間の汎用性を示している。 MNISTとSpyking Heidelberg Digits(SHD)データセットの評価は、混合精度モデルが16ビットのシャドウと8ビットまたは12ビットの推論重みを使用して、完全精度ベースラインに匹敵する精度を達成することを示した。 低精度とより深いモデルではいくつかの制限があるが、パフォーマンスは引き続き堅牢である。 提案アルゴリズムは,SNNを効率的に学習し,精度を犠牲にすることなく,資源制約されたニューロモルフィックハードウェアへの展開を可能にする。

関連論文リスト

• Training Multi-Layer Binary Neural Networks With Local Binary Error Signals [3.7740044597960316]
  多層2層ニューラルネットワーク(BNN)のための完全二分法および勾配自由学習アルゴリズムを提案する。 提案アルゴリズムは局所的な二分誤差信号と二分重更新に依存しており、シナプス的メタ可塑性機構として機能する整数値の隠蔽重みを用いる。 実験の結果、既存の完全バイナリ単一層状態のソリューションに比べて、テスト精度は最大で+35.47%向上した。
  論文  参考訳（メタデータ） (2024-11-28T09:12:04Z)
• Training Integer-Only Deep Recurrent Neural Networks [3.1829446824051195]
  精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 本手法は, 層正規化, 注意, アクティベーション関数の適応的片方向線形(PWL)近似をサポートする。 提案手法により,RNNベースの言語モデルでエッジデバイス上で実行可能である。
  論文  参考訳（メタデータ） (2022-12-22T15:22:36Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks [0.07614628596146598]
  二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。 BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。 トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
  論文  参考訳（メタデータ） (2021-10-21T18:02:58Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• NITI: Training Integer Neural Networks Using Integer-only Arithmetic [4.361357921751159]
  我々は,整数演算のみを用いて計算を行う,効率的なディープニューラルネットワークトレーニングフレームワークであるNITIを提案する。 ネイティブ8ビット整数演算を用いたNITIの概念実証ソフトウェア実装について述べる。 NITIは8ビット整数ストレージと計算を用いてMNISTとCIFAR10データセットの無視可能な精度劣化を実現する。
  論文  参考訳（メタデータ） (2020-09-28T07:41:36Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。