論文の概要: A Closer Look at Knowledge Distillation in Spiking Neural Network Training

• arxiv url: http://arxiv.org/abs/2511.06902v2
• Date: Fri, 14 Nov 2025 07:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 14:38:01.866904
• Title: A Closer Look at Knowledge Distillation in Spiking Neural Network Training
• Title（参考訳）: スパイクニューラルネットワークトレーニングにおける知識蒸留の概観
• Authors: Xu Liu, Na Xia, Jinxing Zhou, Jingyuan Xu, Dan Guo,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、優れたエネルギー効率のため人気を博しているが、効果的なモデルトレーニングの課題に直面している。 近年の研究では,教師として,学生として対象のSNNを用いて,知識蒸留(KD)技術を導入して,これを改善している。 これは一般的に、ANNとSNNの中間機能と予測ロジットを直列に並べることで実現され、アーキテクチャ間の固有の違いを無視することが多い。
• 参考スコア（独自算出の注目度）: 28.455940908397945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) become popular due to excellent energy efficiency, yet facing challenges for effective model training. Recent works improve this by introducing knowledge distillation (KD) techniques, with the pre-trained artificial neural networks (ANNs) used as teachers and the target SNNs as students. This is commonly accomplished through a straightforward element-wise alignment of intermediate features and prediction logits from ANNs and SNNs, often neglecting the intrinsic differences between their architectures. Specifically, ANN's outputs exhibit a continuous distribution, whereas SNN's outputs are characterized by sparsity and discreteness. To mitigate this issue, we introduce two innovative KD strategies. Firstly, we propose the Saliency-scaled Activation Map Distillation (SAMD), which aligns the spike activation map of the student SNN with the class-aware activation map of the teacher ANN. Rather than performing KD directly on the raw %and distinct features of ANN and SNN, our SAMD directs the student to learn from saliency activation maps that exhibit greater semantic and distribution consistency. Additionally, we propose a Noise-smoothed Logits Distillation (NLD), which utilizes Gaussian noise to smooth the sparse logits of student SNN, facilitating the alignment with continuous logits from teacher ANN. Extensive experiments on multiple datasets demonstrate the effectiveness of our methods. Code is available~\footnote{https://github.com/SinoLeu/CKDSNN.git}.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、優れたエネルギー効率のため人気を博しているが、効果的なモデルトレーニングの課題に直面している。 近年の研究では,教師として,学生として対象のSNNを用いて,知識蒸留(KD)技術を導入して,これを改善している。 これは一般的に、ANNとSNNの中間機能と予測ロジットを直列に並べることで実現され、アーキテクチャの固有の違いを無視することが多い。 特に、ANNの出力は連続的な分布を示し、SNNの出力は空間性と離散性によって特徴づけられる。 この問題を軽減するために、2つの革新的なKD戦略を導入する。 まず、学生SNNのスパイクアクティベーションマップと教師ANNのクラス対応アクティベーションマップとを整合させるSaliency-scaled Activation Map Distillation (SAMD)を提案する。 ANNとSNNの生の%と異なる特徴に基づいてKDを直接実行するのではなく、我々のSAMDは、より意味と分布の整合性を示す唾液の活性化マップから学習するよう学生に指示する。 さらに,学生SNNの粗いロジットを円滑にするためにガウス雑音を利用するNLDを提案し,教師ANNの連続ロジットとのアライメントを容易にする。 複数のデータセットに対する大規模な実験により,本手法の有効性が示された。 コードは~\footnote{https://github.com/SinoLeu/CKDSNN.git}で入手できる。

関連論文リスト

• Proxy Target: Bridging the Gap Between Discrete Spiking Neural Networks and Continuous Control [59.65431931190187]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で低レイテンシかつエネルギー効率の意思決定を提供する。 連続制御のためのほとんどの連続制御アルゴリズムは、人工ニューラルネットワーク(ANN)のために設計されている。 このミスマッチはSNNのトレーニングを不安定にし、性能を劣化させる。 離散SNNと連続制御アルゴリズムのギャップを埋める新しいプロキシターゲットフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:08:03Z)
• Bridge the Gap between SNN and ANN for Image Restoration [7.487270862599671]
  現在、SNN(Spiking Neural Network)フレームワークに基づくニューラルネットワークは、画像復元の分野において目印を付け始めている。 本研究では,教師がANNであり,学生がSNNである非対称フレームワーク(ANN-SNN)蒸留法を提案する。 具体的には、ANNが学習した中間機能(機能マップ)をヒントとして、SNNのトレーニングプロセスのガイドとして活用する。
  論文  参考訳（メタデータ） (2025-04-02T14:12:06Z)
• Efficient ANN-Guided Distillation: Aligning Rate-based Features of Spiking Neural Networks through Hybrid Block-wise Replacement [3.4776100606469096]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)の代替としてかなりの注目を集めている。 最近の研究は、大規模データセットにおけるSNNの可能性を強調している。
  論文  参考訳（メタデータ） (2025-03-20T09:04:38Z)
• Self-Distillation Learning Based on Temporal-Spatial Consistency for Spiking Neural Networks [3.7748662901422807]
  スパイキングニューラルネットワーク(SNN)は、その事象駆動性、低消費電力特性、高い生物学的解釈性によって大きな注目を集めている。 近年,教員モデルによるSNNモデルの性能向上が報告されている。 本稿では,これらの問題を回避するために,コスト効率の高いSNNの自己蒸留学習について検討する。
  論文  参考訳（メタデータ） (2024-06-12T04:30:40Z)
• Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization [12.1610509770913]
  スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。 我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。 我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
  論文  参考訳（メタデータ） (2023-05-03T13:12:17Z)
• LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient Training in Deep Spiking Neural Networks [7.0691139514420005]
  スパイキングニューラルネットワーク(SNN)は、事象駆動機構のため、生物学的に現実的で、低消費電力で現実的に有望である。 トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。 レイヤワイドANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-17T03:49:35Z)
• A Hybrid ANN-SNN Architecture for Low-Power and Low-Latency Visual Perception [27.144985031646932]
  Spiking Neural Networks(SNN)は、バイオインスパイアされたニューラルネットワークの一種で、エッジデバイスに低消費電力で低レイテンシな推論をもたらすことを約束する。 イベントベース2Dおよび3Dヒューマンポーズ推定の課題について,本手法では,ANNに比べて性能を4%低下させることなく,88%の消費電力を消費することを示した。
  論文  参考訳（メタデータ） (2023-03-24T17:38:45Z)
• SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
  スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。 本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。 実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-06-19T16:52:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。