論文の概要: Not All Timesteps Matter Equally: Selective Alignment Knowledge Distillation for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2605.14252v1
• Date: Thu, 14 May 2026 01:39:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.567563
• Title: Not All Timesteps Matter Equally: Selective Alignment Knowledge Distillation for Spiking Neural Networks
• Title（参考訳）: すべての時間ステップが等しく重要であるわけではない:スパイクニューラルネットワークのための選択的なアライメント知識蒸留
• Authors: Kai Sun, Peibo Duan, Yongsheng Huang, Guowei Zhang, Benjamin Smith, Nanxu Gong, Levin Kuhlmann,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は高エネルギー効率を実現する。 SNNと人工ニューラルネットワーク(ANN)のパフォーマンスギャップは依然として残っている。 知識蒸留(KD)は一般的にSNNの性能を向上させるために用いられる。 クラスレベルの知識と時間的知識を選択的に整合させるセレクティブアライメント知識蒸留(SeAl-KD)を提案する。
• 参考スコア（独自算出の注目度）: 7.80484674264907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks (SNNs), which are brain-inspired and spike-driven, achieve high energy efficiency. However, a performance gap between SNNs and artificial neural networks (ANNs) still remains. Knowledge distillation (KD) is commonly adopted to improve SNN performance, but existing methods typically enforce uniform alignment across all timesteps, either from a teacher network or through inter-temporal self-distillation, implicitly assuming that per-timestep predictions should be treated equally. In practice, SNN predictions vary and evolve over time, and intermediate timesteps need not all be individually correct even when the final aggregated output is correct. Under such conditions, effective distillation should not force every timestep toward the same supervision target, but instead provide corrective guidance to erroneous timesteps while preserving useful temporal dynamics. To address this issue, we propose Selective Alignment Knowledge Distillation (SeAl-KD), which selectively aligns class-level and temporal knowledge by equalizing competing logits at erroneous timesteps and reweighting temporal alignment based on confidence and inter-timestep similarity. Extensive experiments on static image and neuromorphic event-based datasets demonstrate consistent improvements over existing distillation methods. The code is available at https://github.com/KaiSUN1/SeAl
• Abstract（参考訳）: 脳にインスパイアされたスパイク駆動ニューラルネットワーク(SNN)は高エネルギー効率を実現する。 しかし、SNNと人工知能ニューラルネットワーク(ANN)のパフォーマンスギャップは依然として残っている。 知識蒸留(KD)は一般的にSNNのパフォーマンスを改善するために採用されているが、既存の手法では教師ネットワークや時間間自己蒸留を通じて、時間ごとの予測が等しく扱われるべきであると暗黙的に仮定して、すべてのタイムステップを均一に調整することが一般的である。 実際には、SNNの予測は時間とともに変化して進化し、最終的な集約された出力が正しい場合でも、中間のタイムステップがすべて個別に正しいとは限らない。 このような条件下では、有効蒸留はすべてのタイムステップを同じ監督対象に向かって強制するのではなく、有用な時間力学を保ちながら誤ったタイムステップに対する補正ガイダンスを提供する。 この問題に対処するために,選択的アライメント知識蒸留(SeAl-KD)を提案する。これは,クラスレベルの知識と時間的知識を,不適切なタイミングで競合するロジットを等しくし,信頼度と時間的類似度に基づいて時間的アライメントを再重み付けすることで,選択的に整列するものである。 静的画像およびニューロモルフィック事象ベースのデータセットに関する大規模な実験は、既存の蒸留法よりも一貫した改善を示している。 コードはhttps://github.com/KaiSUN1/SeAlで入手できる。

関連論文リスト

• Proxy Target: Bridging the Gap Between Discrete Spiking Neural Networks and Continuous Control [59.65431931190187]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で低レイテンシかつエネルギー効率の意思決定を提供する。 連続制御のためのほとんどの連続制御アルゴリズムは、人工ニューラルネットワーク(ANN)のために設計されている。 このミスマッチはSNNのトレーニングを不安定にし、性能を劣化させる。 離散SNNと連続制御アルゴリズムのギャップを埋める新しいプロキシターゲットフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:08:03Z)
• Temporal Separation with Entropy Regularization for Knowledge Distillation in Spiking Neural Networks [12.411930097352158]
  スパイキングニューラルネットワーク(SNN)は、離散スパイクベースの情報伝達を通じて計算効率を著しく向上させる。 推論エネルギー消費を減らす可能性にもかかわらず、SNNとArtificial Neural Networks(ANN)のパフォーマンスギャップは持続する。 本稿では,時間的分離とエントロピー正則化を特徴とする新しいロジット蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-03-05T03:37:41Z)
• Efficient Logit-based Knowledge Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment [10.026742974971189]
  従来のニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 それにもかかわらず、SNNはANNと比較して正確さに悩まされ、推論タイムステップによるデプロイメントの課題に直面していることが多い。 本研究では, 深部SNNのための新しい蒸留フレームワークを提案し, 特定の再学習をすることなく, フルレンジタイムステップにおける性能を最適化する。
  論文  参考訳（メタデータ） (2025-01-27T10:22:38Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• CLIF: Complementary Leaky Integrate-and-Fire Neuron for Spiking Neural Networks [5.587069105667678]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 差別化できないスパイク機構のため、SNNを訓練することは依然として困難である。 本稿では、Leaky Integrate-and-Fire Neuron-based SNNとComplementary Leaky Integrate-and-Fire Neuronを提案する。
  論文  参考訳（メタデータ） (2024-02-07T08:51:57Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。