論文の概要: Energy-efficient Knowledge Distillation for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2106.07172v2
- Date: Mon, 27 Jun 2022 13:39:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-26 17:57:29.639332
- Title: Energy-efficient Knowledge Distillation for Spiking Neural Networks
- Title(参考訳): スパイクニューラルネットワークのためのエネルギー効率の高い知識蒸留
- Authors: Dongjin Lee, Seongsik Park, Jongwan Kim, Wuhyeong Doh, Sungroh Yoon
- Abstract要約: 従来の人工ニューラルネットワーク(ANN)のエネルギー効率の良い代替手段として、スパイキングニューラルネットワーク(SNN)が注目されている。
蒸留SNNモデルの性能を精度とエネルギー効率の観点から解析する。
本研究では, エネルギー効率を向上させるため, 不均一な温度パラメータを持つ新しい知識蒸留法を提案する。
- 参考スコア(独自算出の注目度): 23.16389219900427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks (SNNs) have been gaining interest as energy-efficient
alternatives of conventional artificial neural networks (ANNs) due to their
event-driven computation. Considering the future deployment of SNN models to
constrained neuromorphic devices, many studies have applied techniques
originally used for ANN model compression, such as network quantization,
pruning, and knowledge distillation, to SNNs. Among them, existing works on
knowledge distillation reported accuracy improvements of student SNN model.
However, analysis on energy efficiency, which is also an important feature of
SNN, was absent. In this paper, we thoroughly analyze the performance of the
distilled SNN model in terms of accuracy and energy efficiency. In the process,
we observe a substantial increase in the number of spikes, leading to energy
inefficiency, when using the conventional knowledge distillation methods. Based
on this analysis, to achieve energy efficiency, we propose a novel knowledge
distillation method with heterogeneous temperature parameters. We evaluate our
method on two different datasets and show that the resulting SNN student
satisfies both accuracy improvement and reduction of the number of spikes. On
MNIST dataset, our proposed student SNN achieves up to 0.09% higher accuracy
and produces 65% less spikes compared to the student SNN trained with
conventional knowledge distillation method. We also compare the results with
other SNN compression techniques and training methods.
- Abstract(参考訳): スパイキングニューラルネットワーク(snn)は、イベント駆動計算によって従来の人工ニューラルネットワーク(anns)のエネルギー効率のよい代替手段として注目されている。
制約されたニューロモルフィックデバイスへのSNNモデルの今後の展開を考えると、ネットワーク量子化、プルーニング、知識蒸留などのANNモデル圧縮に使用される技術がSNNに適用されることが多い。
その中でも既存の知識蒸留研究はsnnモデルの精度向上を報告している。
しかし,SNNの重要な特徴であるエネルギー効率の分析は行われなかった。
本稿では, 蒸留SNNモデルの性能を精度とエネルギー効率の観点から徹底的に解析する。
本プロセスでは,従来の知識蒸留法を用いて,スパイク数が大幅に増加し,エネルギー効率が低下するのを観察する。
この分析に基づいて, エネルギー効率を向上させるために, 異種温度パラメータを用いた新しい知識蒸留法を提案する。
提案手法を2つの異なるデータセットで評価し,結果のsnn学生がスパイク数の減少と精度向上の両方を満足できることを示す。
MNISTデータセットでは,提案した学生SNNの精度は最大0.09%向上し,従来の知識蒸留法で訓練した学生SNNに比べて65%低下した。
また,他のsn圧縮技術とトレーニング手法との比較を行った。
関連論文リスト
- BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。
本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
論文 参考訳(メタデータ) (2024-07-12T08:17:24Z) - Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-02T16:23:50Z) - Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。
本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。
提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-04T09:07:09Z) - Artificial to Spiking Neural Networks Conversion for Scientific Machine
Learning [24.799635365988905]
物理インフォームドニューラルネットワーク(PINN)をスパイキングニューラルネットワーク(SNN)に変換する手法を提案する。
SNNは従来のニューラルネットワーク(ANN)と比較してエネルギー効率が高いと期待されている
論文 参考訳(メタデータ) (2023-08-31T00:21:27Z) - Skip Connections in Spiking Neural Networks: An Analysis of Their Effect
on Network Training [0.8602553195689513]
従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。
本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。
本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-03-23T07:57:32Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳(メタデータ) (2023-02-01T04:22:59Z) - tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)モデルは、高い精度を提供できるため、一般的に好適である。
しかし、資源とエネルギーを制約した組込みプラットフォームにそのようなモデルを適用することは非効率である。
本稿では,SNN処理のメモリおよびエネルギー要求を最適化する小型SNNフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-17T09:40:40Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - On Self-Distilling Graph Neural Network [64.00508355508106]
GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。
本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。
また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
論文 参考訳(メタデータ) (2020-11-04T12:29:33Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Distilling Spikes: Knowledge Distillation in Spiking Neural Networks [22.331135708302586]
Spiking Neural Networks (SNN) は、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。
画像分類のためのスパイクニューラルネットワークにおける知識蒸留手法を提案する。
我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
論文 参考訳(メタデータ) (2020-05-01T09:36:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。