論文の概要: Self-Distillation Learning Based on Temporal-Spatial Consistency for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2406.07862v1
- Date: Wed, 12 Jun 2024 04:30:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 18:34:46.487239
- Title: Self-Distillation Learning Based on Temporal-Spatial Consistency for Spiking Neural Networks
- Title（参考訳）: スパイクニューラルネットワークのための時間空間一貫性に基づく自己蒸留学習
- Authors: Lin Zuo, Yongqi Ding, Mengmeng Jing, Kunshan Yang, Yunqian Yu,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、その事象駆動性、低消費電力特性、高い生物学的解釈性によって大きな注目を集めている。
近年,教員モデルによるSNNモデルの性能向上が報告されている。
本稿では,これらの問題を回避するために,コスト効率の高いSNNの自己蒸留学習について検討する。
- 参考スコア（独自算出の注目度）: 3.7748662901422807
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Spiking neural networks (SNNs) have attracted considerable attention for their event-driven, low-power characteristics and high biological interpretability. Inspired by knowledge distillation (KD), recent research has improved the performance of the SNN model with a pre-trained teacher model. However, additional teacher models require significant computational resources, and it is tedious to manually define the appropriate teacher network architecture. In this paper, we explore cost-effective self-distillation learning of SNNs to circumvent these concerns. Without an explicit defined teacher, the SNN generates pseudo-labels and learns consistency during training. On the one hand, we extend the timestep of the SNN during training to create an implicit temporal ``teacher" that guides the learning of the original ``student", i.e., the temporal self-distillation. On the other hand, we guide the output of the weak classifier at the intermediate stage by the final output of the SNN, i.e., the spatial self-distillation. Our temporal-spatial self-distillation (TSSD) learning method does not introduce any inference overhead and has excellent generalization ability. Extensive experiments on the static image datasets CIFAR10/100 and ImageNet as well as the neuromorphic datasets CIFAR10-DVS and DVS-Gesture validate the superior performance of the TSSD method. This paper presents a novel manner of fusing SNNs with KD, providing insights into high-performance SNN learning methods.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、その事象駆動性、低消費電力特性、高い生物学的解釈性によって大きな注目を集めている。
知識蒸留(KD)にインスパイアされた最近の研究は、事前学習した教師モデルを用いてSNNモデルの性能を改善した。
しかし、追加の教師モデルは重要な計算資源を必要としており、適切な教師ネットワークアーキテクチャを手動で定義するのは面倒である。
本稿では,これらの問題を回避するために,コスト効率の高いSNNの自己蒸留学習について検討する。
明確に定義された教師がいなければ、SNNは擬似ラベルを生成し、トレーニング中に一貫性を学ぶ。
一方で、トレーニング中のSNNのタイムステップを拡張して、オリジナルの『学生』の学習を導く暗黙の時間的『教師』を作成する。
一方,SNNの最終出力,すなわち空間自己蒸留によって中間段階における弱い分類器の出力を導出する。
我々の時間空間自己蒸留(TSSD)学習法は,推論オーバーヘッドを導入せず,優れた一般化能力を有する。
静的画像データセット CIFAR10/100 と ImageNet 、およびニューロモルフィックデータセット CIFAR10-DVS と DVS-Gesture に関する大規模な実験により、TSSD 法の優れた性能が検証された。
本稿では,KDとSNNを融合させる新しい手法を提案し,高性能SNN学習法について考察する。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。
本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-12T08:17:24Z) - CLIF: Complementary Leaky Integrate-and-Fire Neuron for Spiking Neural Networks [5.587069105667678]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
差別化できないスパイク機構のため、SNNを訓練することは依然として困難である。
本稿では、Leaky Integrate-and-Fire Neuron-based SNNとComplementary Leaky Integrate-and-Fire Neuronを提案する。
論文 参考訳（メタデータ） (2024-02-07T08:51:57Z) - Enhancing Efficient Continual Learning with Dynamic Structure
Development of Spiking Neural Networks [6.407825206595442]
子どもは複数の認知タスクを逐次学習する能力を持っている。
既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。
本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
論文 参考訳（メタデータ） (2023-08-09T07:36:40Z) - Temporal Contrastive Learning for Spiking Neural Networks [23.963069990569714]
生物学的にインスパイアされたニューラルネットワーク(SNN)は、低エネルギー消費と時間的情報処理能力のためにかなりの注目を集めている。
本稿では、時間領域情報にコントラスト的監督を組み込むことにより、低レイテンシで高性能なSNNを得る新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-23T10:31:46Z) - Constructing Deep Spiking Neural Networks from Artificial Neural
Networks with Knowledge Distillation [20.487853773309563]
スパイキングニューラルネットワーク(SNN)は、高い計算効率を持つ脳にインスパイアされたモデルとしてよく知られている。
知識蒸留(KD)を用いた深部SNNモデル構築手法を提案する。
論文 参考訳（メタデータ） (2023-04-12T05:57:21Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Deep Time Delay Neural Network for Speech Enhancement with Full Data
Learning [60.20150317299749]
本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。
トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
論文 参考訳（メタデータ） (2020-11-11T06:32:37Z) - On Self-Distilling Graph Neural Network [64.00508355508106]
GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。
本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。
また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
論文 参考訳（メタデータ） (2020-11-04T12:29:33Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。