論文の概要: Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State

• arxiv url: http://arxiv.org/abs/2109.14247v1
• Date: Wed, 29 Sep 2021 07:46:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 14:38:27.470270
• Title: Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State
• Title（参考訳）: 平衡状態の過度差分によるフィードバックスパイクニューラルネットワークの訓練
• Authors: Mingqing Xiao, Qingyan Meng, Zongpeng Zhang, Yisen Wang, Zhouchen Lin
• Abstract要約: スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 66.2457134675891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) are brain-inspired models that enable energy-efficient implementation on neuromorphic hardware. However, the supervised training of SNNs remains a hard problem due to the discontinuity of the spiking neuron model. Most existing methods imitate the backpropagation framework and feedforward architectures for artificial neural networks, and use surrogate derivatives or compute gradients with respect to the spiking time to deal with the problem. These approaches either accumulate approximation errors or only propagate information limitedly through existing spikes, and usually require information propagation along time steps with large memory costs and biological implausibility. In this work, we consider feedback spiking neural networks, which are more brain-like, and propose a novel training method that does not rely on the exact reverse of the forward computation. First, we show that the average firing rates of SNNs with feedback connections would gradually evolve to an equilibrium state along time, which follows a fixed-point equation. Then by viewing the forward computation of feedback SNNs as a black-box solver for this equation, and leveraging the implicit differentiation on the equation, we can compute the gradient for parameters without considering the exact forward procedure. In this way, the forward and backward procedures are decoupled and therefore the problem of non-differentiable spiking functions is avoided. We also briefly discuss the biological plausibility of implicit differentiation, which only requires computing another equilibrium. Extensive experiments on MNIST, Fashion-MNIST, N-MNIST, CIFAR-10, and CIFAR-100 demonstrate the superior performance of our method for feedback models with fewer neurons and parameters in a small number of time steps. Our code is avaiable at https://github.com/pkuxmq/IDE-FSNN.
• Abstract（参考訳）: spiking neural networks (snns) は、ニューロモルフィックなハードウェア上でエネルギー効率の良い実装を可能にする脳にインスパイアされたモデルである。 しかし、スパイキングニューロンモデルの不連続のため、SNNの教師付きトレーニングは依然として難しい問題である。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣し、その問題に対処するスパイク時間に関して代理デリバティブまたは計算勾配を使用する。 これらのアプローチは近似誤差を蓄積するか、あるいは既存のスパイクによって限られた情報のみを伝達し、通常、大きなメモリコストと生物学的不確実性を持つ時間ステップに沿って情報伝達を必要とする。 本研究では,より脳に近いフィードバックスパイキングニューラルネットワークについて検討し,フォワード計算の正確な逆数に依存しない新しい学習法を提案する。 まず, フィードバック接続を持つsnsの平均点火速度は, 時間とともに徐々に平衡状態へと発展し, 固定点方程式に従うことを示した。 そして、この方程式のブラックボックスソルバとしてフィードバックSNNのフォワード計算を眺め、この方程式上の暗黙の微分を利用することにより、正確なフォワード手順を考慮せずにパラメータの勾配を計算することができる。 このように、前方および後方の手順を分離するので、微分不能なスパイキング関数の問題は回避される。 また,他の平衡計算のみを必要とする暗黙的微分の生物学的可能性についても簡単に論じる。 MNIST, Fashion-MNIST, N-MNIST, CIFAR-10, CIFAR-100の広範囲にわたる実験により, 少数の時間ステップで少ないニューロンとパラメータを持つフィードバックモデルに対して, 本手法の優れた性能を示した。 私たちのコードはhttps://github.com/pkuxmq/IDE-FSNN.comで利用可能です。

関連論文リスト

• Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
  スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。 SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。 この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。 本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
  論文  参考訳（メタデータ） (2024-11-11T15:20:54Z)
• Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。 本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
  論文  参考訳（メタデータ） (2024-05-27T05:53:30Z)
• Energy Efficient Training of SNN using Local Zeroth Order Method [18.81001891391638]
  ニューラルネットワークのスパイクは、現実世界のタスクにおける低エネルギー要求でますます人気が高まっている。 SNNトレーニングアルゴリズムは、Heaviside関数による勾配情報と非微分可能性の喪失に直面している。 本稿では,後方パスにおけるHeavisideの微分可能近似を提案し,前方パスはHeavisideをスパイク関数として利用する。
  論文  参考訳（メタデータ） (2023-02-02T06:57:37Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。 本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。 我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
  論文  参考訳（メタデータ） (2022-11-10T08:32:13Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks [3.7384509727711923]
  ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。 本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。 提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T14:03:41Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。