論文の概要: A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2508.12609v1
• Date: Mon, 18 Aug 2025 04:11:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.964733
• Title: A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks
• Title（参考訳）: 2重スパイクニューラルネットワークの効果的学習のための自己組織化型アプローチ
• Authors: Qingyan Meng, Mingqing Xiao, Zhengyu Ma, Huihui Zhou, Yonghong Tian, Zhouchen Lin,
• Abstract要約: トレーニングスパイキングニューラルネットワーク(SNN)とバイナリニューラルネットワーク(BNN)は、差別化不可能なスパイク生成機能のために困難である。 本稿では, バックプロパゲーションプロセスの解析を通じて, SNN の力学とBNN との密接な関係を考察する。 具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。
• 参考スコア（独自算出の注目度）: 66.80058515743468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) are a promising approach to low-power applications on neuromorphic hardware due to their energy efficiency. However, training SNNs is challenging because of the non-differentiable spike generation function. To address this issue, the commonly used approach is to adopt the backpropagation through time framework, while assigning the gradient of the non-differentiable function with some surrogates. Similarly, Binary Neural Networks (BNNs) also face the non-differentiability problem and rely on approximating gradients. However, the deep relationship between these two fields and how their training techniques can benefit each other has not been systematically researched. Furthermore, training binary-weight SNNs is even more difficult. In this work, we present a novel perspective on the dynamics of SNNs and their close connection to BNNs through an analysis of the backpropagation process. We demonstrate that training a feedforward SNN can be viewed as training a self-ensemble of a binary-activation neural network with noise injection. Drawing from this new understanding of SNN dynamics, we introduce the Self-Ensemble Inspired training method for (Binary-Weight) SNNs (SEI-BWSNN), which achieves high-performance results with low latency even for the case of the 1-bit weights. Specifically, we leverage a structure of multiple shortcuts and a knowledge distillation-based training technique to improve the training of (binary-weight) SNNs. Notably, by binarizing FFN layers in a Transformer architecture, our approach achieves 82.52% accuracy on ImageNet with only 2 time steps, indicating the effectiveness of our methodology and the potential of binary-weight SNNs.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率のため、ニューロモルフィックハードウェアにおける低消費電力アプリケーションに対する有望なアプローチである。 しかしながら、SNNのトレーニングは、差別化不可能なスパイク生成機能のために困難である。 この問題に対処するために、一般的に使用されるアプローチは、時間フレームワークによるバックプロパゲーションを採用しながら、いくつかのサロゲートを持つ非微分可能関数の勾配を割り当てることである。 同様に、バイナリニューラルネットワーク(BNN)も微分不可能な問題に直面し、近似勾配に依存している。 しかし、これらの2つの分野の深い関係と、それらのトレーニング技術が相互に利益をもたらすかは、体系的に研究されていない。 さらに、バイナリウェイトSNNのトレーニングはさらに難しい。 本研究では, バックプロパゲーションプロセスの解析を通じて, SNN の力学と BNN との密接な関係について, 新たな視点を提示する。 我々は、フィードフォワードSNNのトレーニングを、ノイズ注入によるバイナリアクティベーションニューラルネットワークの自己アンサンブルのトレーニングとみなすことができることを示した。 1ビット重みの場合であっても低レイテンシで高性能なSNN(SEI-BWSNN)のセルフアンサンブル・インスピレーションド・トレーニング手法を導入する。 具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。 特に,TransformerアーキテクチャでFFN層をバイナライズすることにより,2段階の時間ステップでImageNet上で82.52%の精度を実現し,本手法の有効性とバイナリ重み付きSNNの可能性を示した。

関連論文リスト

• Training Spiking Neural Networks via Augmented Direct Feedback Alignment [3.798885293742468]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックデバイスにニューラルネットワークを実装するための有望なソリューションである。 しかし、SNNニューロンの非分化性は、それらを訓練することを困難にしている。 本稿では、ランダムなプロジェクションに基づく勾配のないアプローチである拡張直接フィードバックアライメント(aDFA)を用いてSNNの訓練を行う。
  論文  参考訳（メタデータ） (2024-09-12T06:22:44Z)
• Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization [12.1610509770913]
  スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。 我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。 我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
  論文  参考訳（メタデータ） (2023-05-03T13:12:17Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
  スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。 高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
  論文  参考訳（メタデータ） (2022-03-02T14:59:57Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。