論文の概要: Enhanced Self-Distillation Framework for Efficient Spiking Neural Network Training

• arxiv url: http://arxiv.org/abs/2510.06254v1
• Date: Sat, 04 Oct 2025 12:58:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.063344
• Title: Enhanced Self-Distillation Framework for Efficient Spiking Neural Network Training
• Title（参考訳）: 効率的なスパイクニューラルネットワークトレーニングのための自己蒸留フレームワークの強化
• Authors: Xiaochen Zhao, Chengting Yu, Kairong Yu, Lei Liu, Aili Wang,
• Abstract要約: Spiking Neural Networks (SNN) は、ニューロモルフィックハードウェア上でのエネルギー効率を示す。 本稿では, 自己蒸留フレームワークを改良し, レートベースバックプロパゲーションを併用する手法を提案する。 提案手法は,高性能SNNトレーニングを行ないながら,トレーニングの複雑さを低減する。
• 参考スコア（独自算出の注目度）: 9.838333491904406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) exhibit exceptional energy efficiency on neuromorphic hardware due to their sparse activation patterns. However, conventional training methods based on surrogate gradients and Backpropagation Through Time (BPTT) not only lag behind Artificial Neural Networks (ANNs) in performance, but also incur significant computational and memory overheads that grow linearly with the temporal dimension. To enable high-performance SNN training under limited computational resources, we propose an enhanced self-distillation framework, jointly optimized with rate-based backpropagation. Specifically, the firing rates of intermediate SNN layers are projected onto lightweight ANN branches, and high-quality knowledge generated by the model itself is used to optimize substructures through the ANN pathways. Unlike traditional self-distillation paradigms, we observe that low-quality self-generated knowledge may hinder convergence. To address this, we decouple the teacher signal into reliable and unreliable components, ensuring that only reliable knowledge is used to guide the optimization of the model. Extensive experiments on CIFAR-10, CIFAR-100, CIFAR10-DVS, and ImageNet demonstrate that our method reduces training complexity while achieving high-performance SNN training. Our code is available at https://github.com/Intelli-Chip-Lab/enhanced-self-distillation-framework-for-snn.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、そのスパースアクティベーションパターンのため、ニューロモルフィックハードウェア上では例外的なエネルギー効率を示す。 しかし、従来のシュロゲート勾配と時間によるバックプロパゲーション(BPTT)に基づくトレーニング手法は、人工知能ニューラルネットワーク(ANN)の性能の遅れだけでなく、時間次元と線形に成長する重要な計算およびメモリオーバーヘッドも引き起こす。 限られた計算資源下での高性能SNNトレーニングを実現するために,レートベースバックプロパゲーションを併用した自己蒸留フレームワークを提案する。 具体的には、中間SNN層の焼成速度を軽量のANN分岐に投影し、モデル自体が生成する高品質な知識をANN経路を介してサブ構造を最適化するために利用する。 従来の自己蒸留パラダイムとは異なり、低品質な自己生成知識は収束を妨げる可能性がある。 これを解決するため、教師の信号を信頼性と信頼性の低いコンポーネントに分離し、信頼性のある知識のみがモデルの最適化の指針となることを保証します。 CIFAR-10, CIFAR-100, CIFAR10-DVS, ImageNetの大規模実験により, 高速SNN訓練をしながら, トレーニングの複雑さを低減できることが実証された。 私たちのコードはhttps://github.com/Intelli-Chip-Lab/enhanced-self-distillation-framework-for-snnで公開しています。

関連論文リスト

• A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks [66.80058515743468]
  トレーニングスパイキングニューラルネットワーク(SNN)とバイナリニューラルネットワーク(BNN)は、差別化不可能なスパイク生成機能のために困難である。 本稿では, バックプロパゲーションプロセスの解析を通じて, SNN の力学とBNN との密接な関係を考察する。 具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。
  論文  参考訳（メタデータ） (2025-08-18T04:11:06Z)
• Efficient Logit-based Knowledge Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment [10.026742974971189]
  従来のニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 それにもかかわらず、SNNはANNと比較して正確さに悩まされ、推論タイムステップによるデプロイメントの課題に直面していることが多い。 本研究では, 深部SNNのための新しい蒸留フレームワークを提案し, 特定の再学習をすることなく, フルレンジタイムステップにおける性能を最適化する。
  論文  参考訳（メタデータ） (2025-01-27T10:22:38Z)
• CLIF: Complementary Leaky Integrate-and-Fire Neuron for Spiking Neural Networks [5.587069105667678]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 差別化できないスパイク機構のため、SNNを訓練することは依然として困難である。 本稿では、Leaky Integrate-and-Fire Neuron-based SNNとComplementary Leaky Integrate-and-Fire Neuronを提案する。
  論文  参考訳（メタデータ） (2024-02-07T08:51:57Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Going Deeper With Directly-Trained Larger Spiking Neural Networks [20.40894876501739]
  スパイキングニューラルネットワーク(SNN)は、バイオユースブルな情報とイベント駆動信号処理のためのコーディングを約束している。 しかし、SNNのユニークな動作モードにより、従来のネットワークよりもトレーニングが困難になる。 CIF依存型バッチ正規化法(tpladBN)を提案する。
  論文  参考訳（メタデータ） (2020-10-29T07:15:52Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。