論文の概要: Distilling Spikes: Knowledge Distillation in Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2005.00288v1
- Date: Fri, 1 May 2020 09:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 22:42:52.335061
- Title: Distilling Spikes: Knowledge Distillation in Spiking Neural Networks
- Title（参考訳）: 蒸留スパイク:スパイクニューラルネットワークにおける知識蒸留
- Authors: Ravi Kumar Kushawaha, Saurabh Kumar, Biplab Banerjee, Rajbabu
Velmurugan
- Abstract要約: Spiking Neural Networks (SNN) は、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。
画像分類のためのスパイクニューラルネットワークにおける知識蒸留手法を提案する。
我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
- 参考スコア（独自算出の注目度）: 22.331135708302586
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNN) are energy-efficient computing architectures
that exchange spikes for processing information, unlike classical Artificial
Neural Networks (ANN). Due to this, SNNs are better suited for real-life
deployments. However, similar to ANNs, SNNs also benefit from deeper
architectures to obtain improved performance. Furthermore, like the deep ANNs,
the memory, compute and power requirements of SNNs also increase with model
size, and model compression becomes a necessity. Knowledge distillation is a
model compression technique that enables transferring the learning of a large
machine learning model to a smaller model with minimal loss in performance. In
this paper, we propose techniques for knowledge distillation in spiking neural
networks for the task of image classification. We present ways to distill
spikes from a larger SNN, also called the teacher network, to a smaller one,
also called the student network, while minimally impacting the classification
accuracy. We demonstrate the effectiveness of the proposed method with detailed
experiments on three standard datasets while proposing novel distillation
methodologies and loss functions. We also present a multi-stage knowledge
distillation technique for SNNs using an intermediate network to obtain higher
performance from the student network. Our approach is expected to open up new
avenues for deploying high performing large SNN models on resource-constrained
hardware platforms.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、古典的ニューラルネットワーク(ANN)とは異なり、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。
このため、SNNは実際のデプロイメントに適している。
しかし、ANNと同様、SNNもより深いアーキテクチャの恩恵を受け、パフォーマンスが向上する。
さらに、深層ANNと同様に、SNNのメモリ、計算、電力要求もモデルサイズとともに増加し、モデル圧縮が必須となる。
知識蒸留は、大きな機械学習モデルの学習を最小限の性能を失う小さなモデルに転送できるモデル圧縮技術である。
本稿では,画像分類作業のためのスパイキングニューラルネットワークにおける知識蒸留手法を提案する。
我々は、より大規模なSNN(教師ネットワーク)からより小さなSNN(学生ネットワーク)にスパイクを蒸留する方法を提案し、分類精度に最小限の影響を与えている。
本稿では,新しい蒸留法と損失関数を提案しながら,3つの標準データセットに関する詳細な実験を行い,提案手法の有効性を実証する。
また,学生ネットワークから高い性能を得るために,中間ネットワークを用いたSNNの多段階知識蒸留手法を提案する。
我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
関連論文リスト
- BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。
本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-12T08:17:24Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Constructing Deep Spiking Neural Networks from Artificial Neural
Networks with Knowledge Distillation [20.487853773309563]
スパイキングニューラルネットワーク(SNN)は、高い計算効率を持つ脳にインスパイアされたモデルとしてよく知られている。
知識蒸留(KD)を用いた深部SNNモデル構築手法を提案する。
論文 参考訳（メタデータ） (2023-04-12T05:57:21Z) - Skip Connections in Spiking Neural Networks: An Analysis of Their Effect
on Network Training [0.8602553195689513]
従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。
本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。
本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-03-23T07:57:32Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Mining the Weights Knowledge for Optimizing Neural Network Structures [1.995792341399967]
タスク固有のニューラルネットワーク(略してTNN)の重みを入力として使用するスイッチャーニューラルネットワーク(SNN)を導入する。
重みに含まれる知識をマイニングすることで、SNNはTNNのニューロンをオフにするスケーリング因子を出力する。
精度の面では,ベースラインネットワークやその他の構造学習手法を安定的に,かつ著しく上回っている。
論文 参考訳（メタデータ） (2021-10-11T05:20:56Z) - Energy-efficient Knowledge Distillation for Spiking Neural Networks [23.16389219900427]
従来の人工ニューラルネットワーク(ANN)のエネルギー効率の良い代替手段として、スパイキングニューラルネットワーク(SNN)が注目されている。
蒸留SNNモデルの性能を精度とエネルギー効率の観点から解析する。
本研究では, エネルギー効率を向上させるため, 不均一な温度パラメータを持つ新しい知識蒸留法を提案する。
論文 参考訳（メタデータ） (2021-06-14T05:42:05Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳（メタデータ） (2021-05-11T10:05:53Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。