Fugu-MT 論文翻訳(概要): EXODUS: Stable and Efficient Training of Spiking Neural Networks

論文の概要: EXODUS: Stable and Efficient Training of Spiking Neural Networks

arxiv url: http://arxiv.org/abs/2205.10242v1
Date: Fri, 20 May 2022 15:13:58 GMT
ステータス: 処理完了
システム内更新日: 2022-05-23 14:29:12.671574
Title: EXODUS: Stable and Efficient Training of Spiking Neural Networks
Title（参考訳）: EXODUS:スパイキングニューラルネットワークの安定かつ効率的なトレーニング
Authors: Felix Christian Bauer (1), Gregor Lenz (1), Saeid Haghighatshoar (1), Sadique Sheik (1) ((1) SynSense)
Abstract要約: エネルギー効率が最も重要である機械学習タスクでは、スパイキングニューラルネットワーク(SNN)が大きな注目を集めている。 ShresthaとOrchard [2018]による以前の作業では、SLAYERと呼ばれる効率的なGPU加速バックプロパゲーションアルゴリズムが採用されており、トレーニングの大幅なスピードアップを実現している。我々はSLAYERを修正してEXODUSと呼ばれるアルゴリズムを設計し、ニューロンリセット機構を考慮し、インプリシット関数定理(IFT)を適用して正しい勾配を計算する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Spiking Neural Networks (SNNs) are gaining significant traction in machine learning tasks where energy-efficiency is of utmost importance. Training such networks using the state-of-the-art back-propagation through time (BPTT) is, however, very time-consuming. Previous work by Shrestha and Orchard [2018] employs an efficient GPU-accelerated back-propagation algorithm called SLAYER, which speeds up training considerably. SLAYER, however, does not take into account the neuron reset mechanism while computing the gradients, which we argue to be the source of numerical instability. To counteract this, SLAYER introduces a gradient scale hyperparameter across layers, which needs manual tuning. In this paper, (i) we modify SLAYER and design an algorithm called EXODUS, that accounts for the neuron reset mechanism and applies the Implicit Function Theorem (IFT) to calculate the correct gradients (equivalent to those computed by BPTT), (ii) we eliminate the need for ad-hoc scaling of gradients, thus, reducing the training complexity tremendously, (iii) we demonstrate, via computer simulations, that EXODUS is numerically stable and achieves a comparable or better performance than SLAYER especially in various tasks with SNNs that rely on temporal features. Our code is available at https://github.com/synsense/sinabs-exodus.
Abstract（参考訳）: エネルギー効率が最も重要である機械学習タスクでは、スパイキングニューラルネットワーク(SNN)が大きな注目を集めている。しかし、BPTT(State-of-the-the-art back-proagation through time)を用いたネットワークのトレーニングは非常に時間がかかる。 ShresthaとOrchardによる2018年以前の研究では、SLAYERと呼ばれる効率的なGPU加速バックプロパゲーションアルゴリズムが採用されており、トレーニングをかなり高速化している。しかし、スレイヤーは勾配を計算しながらニューロンのリセット機構を考慮せず、それが数値的不安定性の原因であると主張する。これに対抗するためにSLAYERでは,手動チューニングを必要とするレイヤ間の勾配スケールハイパーパラメータを導入している。この論文では i) SLAYERを修正してEXODUSと呼ばれるアルゴリズムを設計し、ニューロンリセット機構を考慮し、インプリシット関数定理(IFT)を適用して正しい勾配(BPTTと同等)を計算する。 (ii)勾配のアドホックなスケーリングの必要性をなくし、トレーニングの複雑さを大幅に削減します。 3) 計算機シミュレーションにより,EXODUS は数値的に安定であり,特に時間的特徴に依存した SNN のタスクにおいてSLAYER に匹敵する,あるいは優れた性能を発揮することを示した。私たちのコードはhttps://github.com/synsense/sinabs-exodusで利用可能です。

関連論文リスト

Efficient Event-based Delay Learning in Spiking Neural Networks [0.1350479308585481]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わるエネルギー効率の高い代替手段として注目を集めている。本研究では,EventPropProp形式に基づくSNNのための新しいイベントベーストレーニング手法を提案する。提案手法は,現在最先端の遅延学習手法のメモリの半分以下を用いており,最大26倍高速であることを示す。
論文参考訳（メタデータ） (2025-01-13T13:44:34Z)
DelGrad: Exact event-based gradients in spiking networks for training delays and weights [1.5226147562426895]
スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。我々は,シナプス重みと遅延の両方について,正確な損失勾配を計算するイベントベース手法であるDelGradを提案する。ノイズの多い混合信号ハードウェア上でSNNに遅延を追加する際のメモリ効率と精度の利点を実験的に示す。
論文参考訳（メタデータ） (2024-04-30T00:02:34Z)
Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
論文参考訳（メタデータ） (2023-06-22T04:25:27Z)
Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文参考訳（メタデータ） (2023-02-28T05:01:01Z)
Loss shaping enhances exact gradient learning with Eventprop in spiking neural networks [0.1350479308585481]
Eventpropは、スパイキングニューラルネットワークの正確な勾配の勾配勾配のアルゴリズムである。我々は、GPU強化ニューラルネットワークフレームワークにEventpropを実装した。 Spiking Heidelberg DigitsとSpking Speech Commandsデータセットで、スパイクニューラルネットワークをトレーニングします。
論文参考訳（メタデータ） (2022-12-02T15:20:58Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文参考訳（メタデータ） (2022-10-09T07:47:56Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。