論文の概要: Constructing Deep Spiking Neural Networks from Artificial Neural Networks with Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2304.05627v2
• Date: Mon, 17 Apr 2023 03:07:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 19:59:26.714917
• Title: Constructing Deep Spiking Neural Networks from Artificial Neural Networks with Knowledge Distillation
• Title（参考訳）: 知識蒸留によるニューラルネットワークからのディープスパイクニューラルネットワークの構築
• Authors: Qi Xu, Yaxin Li, Jiangrong Shen, Jian K Liu, Huajin Tang, Gang Pan
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、高い計算効率を持つ脳にインスパイアされたモデルとしてよく知られている。 知識蒸留(KD)を用いた深部SNNモデル構築手法を提案する。
• 参考スコア（独自算出の注目度）: 20.487853773309563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) are well known as the brain-inspired models with high computing efficiency, due to a key component that they utilize spikes as information units, close to the biological neural systems. Although spiking based models are energy efficient by taking advantage of discrete spike signals, their performance is limited by current network structures and their training methods. As discrete signals, typical SNNs cannot apply the gradient descent rules directly into parameters adjustment as artificial neural networks (ANNs). Aiming at this limitation, here we propose a novel method of constructing deep SNN models with knowledge distillation (KD) that uses ANN as teacher model and SNN as student model. Through ANN-SNN joint training algorithm, the student SNN model can learn rich feature information from the teacher ANN model through the KD method, yet it avoids training SNN from scratch when communicating with non-differentiable spikes. Our method can not only build a more efficient deep spiking structure feasibly and reasonably, but use few time steps to train whole model compared to direct training or ANN to SNN methods. More importantly, it has a superb ability of noise immunity for various types of artificial noises and natural signals. The proposed novel method provides efficient ways to improve the performance of SNN through constructing deeper structures in a high-throughput fashion, with potential usage for light and efficient brain-inspired computing of practical scenarios.
• Abstract（参考訳）: スパイクニューラルネットワーク(snn)は、スパイクを生体神経系に近い情報単位として利用する重要なコンポーネントであるため、高い計算効率を持つ脳に触発されたモデルとしてよく知られている。 スパイクベースモデルは離散スパイク信号を活用することでエネルギー効率が良いが、その性能は現在のネットワーク構造とその訓練方法によって制限される。 離散信号として、一般的なSNNは、ニューラルネットワーク(ANN)としてパラメータ調整に直接勾配降下規則を適用することはできない。 本稿では,ANNを教師モデルとし,SNNを学生モデルとする知識蒸留(KD)を用いた深部SNNモデル構築手法を提案する。 ANN-SNNジョイントトレーニングアルゴリズムにより、学生SNNモデルは教師ANNモデルからKD方法でリッチな特徴情報を学ぶことができるが、非微分スパイクと通信する際にSNNをスクラッチから学習するのを避けることができる。 提案手法は,より効率的かつ合理的な深層スパイク構造を構築するだけでなく,直接訓練やANN to SNN法と比較して,モデル全体をトレーニングするための時間ステップも少ない。 さらに重要なことは、様々なタイプの人工雑音や自然信号に対するノイズ免疫の優れた能力を持つことだ。 提案手法は,より深い構造を高スループットで構築し,実用シナリオの軽量で効率的な脳にインスパイアされた計算に活用することで,snの性能を向上させる効率的な手法を提供する。

関連論文リスト

• BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。 本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-12T08:17:24Z)
• Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する 本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-05-06T09:58:54Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• ESL-SNNs: An Evolutionary Structure Learning Strategy for Spiking Neural Networks [20.33499499020257]
  スパイキングニューラルネットワーク(SNN)は、推論プロセス中に消費電力とイベント駆動特性に顕著な優位性を示した。 スパースSNNトレーニングをスクラッチから実装するために,ESL-SNNと呼ばれるSNNのための効率的な進化的構造学習フレームワークを提案する。 本研究は,SNNをスクラッチから切り離し,生物学的に妥当な進化機構で訓練するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:06:11Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Skip Connections in Spiking Neural Networks: An Analysis of Their Effect on Network Training [0.8602553195689513]
  従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。 本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。 本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-03-23T07:57:32Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Distilling Spikes: Knowledge Distillation in Spiking Neural Networks [22.331135708302586]
  Spiking Neural Networks (SNN) は、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。 画像分類のためのスパイクニューラルネットワークにおける知識蒸留手法を提案する。 我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
  論文  参考訳（メタデータ） (2020-05-01T09:36:32Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。