論文の概要: Temporal Separation with Entropy Regularization for Knowledge Distillation in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2503.03144v1
• Date: Wed, 05 Mar 2025 03:37:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:52:18.108459
• Title: Temporal Separation with Entropy Regularization for Knowledge Distillation in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける知識蒸留のためのエントロピー規則化による時間分離
• Authors: Kairong Yu, Chengting Yu, Tianqing Zhang, Xiaochen Zhao, Shu Yang, Hongwei Wang, Qiang Zhang, Qi Xu,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、離散スパイクベースの情報伝達を通じて計算効率を著しく向上させる。 推論エネルギー消費を減らす可能性にもかかわらず、SNNとArtificial Neural Networks(ANN)のパフォーマンスギャップは持続する。 本稿では,時間的分離とエントロピー正則化を特徴とする新しいロジット蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 12.411930097352158
• License:
• Abstract: Spiking Neural Networks (SNNs), inspired by the human brain, offer significant computational efficiency through discrete spike-based information transfer. Despite their potential to reduce inference energy consumption, a performance gap persists between SNNs and Artificial Neural Networks (ANNs), primarily due to current training methods and inherent model limitations. While recent research has aimed to enhance SNN learning by employing knowledge distillation (KD) from ANN teacher networks, traditional distillation techniques often overlook the distinctive spatiotemporal properties of SNNs, thus failing to fully leverage their advantages. To overcome these challenge, we propose a novel logit distillation method characterized by temporal separation and entropy regularization. This approach improves existing SNN distillation techniques by performing distillation learning on logits across different time steps, rather than merely on aggregated output features. Furthermore, the integration of entropy regularization stabilizes model optimization and further boosts the performance. Extensive experimental results indicate that our method surpasses prior SNN distillation strategies, whether based on logit distillation, feature distillation, or a combination of both. The code will be available on GitHub.
• Abstract（参考訳）: 人間の脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、離散スパイクベースの情報伝達を通じて計算効率を著しく向上させる。 推論エネルギー消費を減らす可能性にもかかわらず、パフォーマンスギャップはSNNとArtificial Neural Networks(ANN)の間で持続する。 近年の研究では、ANN教師ネットワークからの知識蒸留(KD)を活用してSNN学習を向上させることを目的としているが、従来の蒸留技術はSNN特有の時空間特性を無視することが多く、その利点を十分に活用できない。 これらの課題を克服するために,時間的分離とエントロピー正則化を特徴とする新しいロジット蒸留法を提案する。 この手法は, 集約された出力特性ではなく, 異なる時間ステップでロジットの蒸留学習を行うことにより, 既存のSNN蒸留技術を改善する。 さらに、エントロピー正則化の統合はモデルの最適化を安定化させ、性能をさらに向上させる。 以上の結果から,ロジット蒸留法,特徴蒸留法,あるいは両者の組み合わせにより,従来のSNN蒸留法を超越した結果が得られた。 コードはGitHubで入手できる。

関連論文リスト

• Efficient Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment [10.026742974971189]
  従来のニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 これにもかかわらず、SNNはANNと比較して正確さに悩まされ、推論のタイムステップによるデプロイメントの課題に直面し、調整の再トレーニングが必要で、運用の柔軟性が制限される。 本研究では, 深部SNNのための新しい蒸留フレームワークを提案する。これは, 特定の再トレーニングを伴わずに, 性能を最適化し, 有効性と適応性を両立させる。
  論文  参考訳（メタデータ） (2025-01-27T10:22:38Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。 本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-12T08:17:24Z)
• Self-Distillation Learning Based on Temporal-Spatial Consistency for Spiking Neural Networks [3.7748662901422807]
  スパイキングニューラルネットワーク(SNN)は、その事象駆動性、低消費電力特性、高い生物学的解釈性によって大きな注目を集めている。 近年,教員モデルによるSNNモデルの性能向上が報告されている。 本稿では,これらの問題を回避するために,コスト効率の高いSNNの自己蒸留学習について検討する。
  論文  参考訳（メタデータ） (2024-06-12T04:30:40Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting [29.685909045226847]
  脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、事象駆動的でエネルギー効率のよい特徴から、広く研究の関心を集めている。 シュロゲート勾配による現在の直接訓練手法は、一般化性に乏しいSNNに結果をもたらす。 SGによる勾配降下時の運動量の減少を補うための時間的効率訓練(TET)手法を導入する。
  論文  参考訳（メタデータ） (2022-02-24T08:02:37Z)
• Energy-efficient Knowledge Distillation for Spiking Neural Networks [23.16389219900427]
  従来の人工ニューラルネットワーク(ANN)のエネルギー効率の良い代替手段として、スパイキングニューラルネットワーク(SNN)が注目されている。 蒸留SNNモデルの性能を精度とエネルギー効率の観点から解析する。 本研究では, エネルギー効率を向上させるため, 不均一な温度パラメータを持つ新しい知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2021-06-14T05:42:05Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。