論文の概要: Distilling Spikes: Knowledge Distillation in Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2005.00288v1
- Date: Fri, 1 May 2020 09:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 22:42:52.335061
- Title: Distilling Spikes: Knowledge Distillation in Spiking Neural Networks
- Title（参考訳）: 蒸留スパイク:スパイクニューラルネットワークにおける知識蒸留
- Authors: Ravi Kumar Kushawaha, Saurabh Kumar, Biplab Banerjee, Rajbabu
Velmurugan
- Abstract要約: Spiking Neural Networks (SNN) は、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。
画像分類のためのスパイクニューラルネットワークにおける知識蒸留手法を提案する。
我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
- 参考スコア（独自算出の注目度）: 22.331135708302586
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNN) are energy-efficient computing architectures
that exchange spikes for processing information, unlike classical Artificial
Neural Networks (ANN). Due to this, SNNs are better suited for real-life
deployments. However, similar to ANNs, SNNs also benefit from deeper
architectures to obtain improved performance. Furthermore, like the deep ANNs,
the memory, compute and power requirements of SNNs also increase with model
size, and model compression becomes a necessity. Knowledge distillation is a
model compression technique that enables transferring the learning of a large
machine learning model to a smaller model with minimal loss in performance. In
this paper, we propose techniques for knowledge distillation in spiking neural
networks for the task of image classification. We present ways to distill
spikes from a larger SNN, also called the teacher network, to a smaller one,
also called the student network, while minimally impacting the classification
accuracy. We demonstrate the effectiveness of the proposed method with detailed
experiments on three standard datasets while proposing novel distillation
methodologies and loss functions. We also present a multi-stage knowledge
distillation technique for SNNs using an intermediate network to obtain higher
performance from the student network. Our approach is expected to open up new
avenues for deploying high performing large SNN models on resource-constrained
hardware platforms.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、古典的ニューラルネットワーク(ANN)とは異なり、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。
このため、SNNは実際のデプロイメントに適している。
しかし、ANNと同様、SNNもより深いアーキテクチャの恩恵を受け、パフォーマンスが向上する。
さらに、深層ANNと同様に、SNNのメモリ、計算、電力要求もモデルサイズとともに増加し、モデル圧縮が必須となる。
知識蒸留は、大きな機械学習モデルの学習を最小限の性能を失う小さなモデルに転送できるモデル圧縮技術である。
本稿では,画像分類作業のためのスパイキングニューラルネットワークにおける知識蒸留手法を提案する。
我々は、より大規模なSNN(教師ネットワーク)からより小さなSNN(学生ネットワーク)にスパイクを蒸留する方法を提案し、分類精度に最小限の影響を与えている。
本稿では,新しい蒸留法と損失関数を提案しながら,3つの標準データセットに関する詳細な実験を行い,提案手法の有効性を実証する。
また,学生ネットワークから高い性能を得るために,中間ネットワークを用いたSNNの多段階知識蒸留手法を提案する。
我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
関連論文リスト
- Learning Morphisms with Gauss-Newton Approximation for Growing Networks [43.998746572276076]
ニューラル・アーキテクチャ・サーチ(NAS)の一般的な手法は、ネットワーク・アソシエーション(英語版)と呼ばれるネットワークのアーキテクチャへの小さな局所的な変更を通じてネットワークを成長させることに基づいている。
本稿では、損失関数のガウス・ニュートン近似を用いてネットワーク成長のためのNAS法を提案し、ネットワークの候補型を効率的に学習し評価する。
論文 参考訳（メタデータ） (2024-11-07T01:12:42Z) - BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。
本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-12T08:17:24Z) - LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through Learnable Multi-hierarchical Threshold Model [42.13762207316681]
スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法で情報を伝達する本質的な能力に対して、広く学術的な関心を集めている。
SNNの学習アルゴリズムを様々な方法で最適化する以前の取り組みにもかかわらず、SNNはパフォーマンス面でもANNに遅れを取っている。
本稿では,グローバル入力電流と膜電位リークを動的に制御できる等価多閾値モデルであるLM-HTモデルを提案する。
論文 参考訳（メタデータ） (2024-02-01T08:10:39Z) - Constructing Deep Spiking Neural Networks from Artificial Neural
Networks with Knowledge Distillation [20.487853773309563]
スパイキングニューラルネットワーク(SNN)は、高い計算効率を持つ脳にインスパイアされたモデルとしてよく知られている。
知識蒸留(KD)を用いた深部SNNモデル構築手法を提案する。
論文 参考訳（メタデータ） (2023-04-12T05:57:21Z) - Skip Connections in Spiking Neural Networks: An Analysis of Their Effect
on Network Training [0.8602553195689513]
従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。
本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。
本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-03-23T07:57:32Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Mining the Weights Knowledge for Optimizing Neural Network Structures [1.995792341399967]
タスク固有のニューラルネットワーク(略してTNN)の重みを入力として使用するスイッチャーニューラルネットワーク(SNN)を導入する。
重みに含まれる知識をマイニングすることで、SNNはTNNのニューロンをオフにするスケーリング因子を出力する。
精度の面では,ベースラインネットワークやその他の構造学習手法を安定的に,かつ著しく上回っている。
論文 参考訳（メタデータ） (2021-10-11T05:20:56Z) - Energy-efficient Knowledge Distillation for Spiking Neural Networks [23.16389219900427]
従来の人工ニューラルネットワーク(ANN)のエネルギー効率の良い代替手段として、スパイキングニューラルネットワーク(SNN)が注目されている。
蒸留SNNモデルの性能を精度とエネルギー効率の観点から解析する。
本研究では, エネルギー効率を向上させるため, 不均一な温度パラメータを持つ新しい知識蒸留法を提案する。
論文 参考訳（メタデータ） (2021-06-14T05:42:05Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳（メタデータ） (2021-05-11T10:05:53Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。