論文の概要: Loss shaping enhances exact gradient learning with Eventprop in spiking neural networks

• arxiv url: http://arxiv.org/abs/2212.01232v3
• Date: Fri, 31 Jan 2025 18:12:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:00:16.055833
• Title: Loss shaping enhances exact gradient learning with Eventprop in spiking neural networks
• Title（参考訳）: ロスシェーピングはスパイクニューラルネットワークにおけるEventpropによる正確な勾配学習を促進する
• Authors: Thomas Nowotny, James P. Turner, James C. Knight,
• Abstract要約: Eventpropは、スパイキングニューラルネットワークの正確な勾配の勾配勾配のアルゴリズムである。 我々は、GPU強化ニューラルネットワークフレームワークにEventpropを実装した。 Spiking Heidelberg DigitsとSpking Speech Commandsデータセットで、スパイクニューラルネットワークをトレーニングします。
• 参考スコア（独自算出の注目度）: 0.1350479308585481
• License:
• Abstract: Event-based machine learning promises more energy-efficient AI on future neuromorphic hardware. Here, we investigate how the recently discovered Eventprop algorithm for gradient descent on exact gradients in spiking neural networks can be scaled up to challenging keyword recognition benchmarks. We implemented Eventprop in the GPU-enhanced Neural Networks framework and used it for training recurrent spiking neural networks on the Spiking Heidelberg Digits and Spiking Speech Commands datasets. We found that learning depended strongly on the loss function and extended Eventprop to a wider class of loss functions to enable effective training. We then tested a large number of data augmentations and regularisations as well as exploring different network structures; and heterogeneous and trainable timescales. We found that when combined with two specific augmentations, the right regularisation and a delay line input, Eventprop networks with one recurrent layer achieved state-of-the-art performance on Spiking Heidelberg Digits and good accuracy on Spiking Speech Commands. In comparison to a leading surrogate-gradient-based SNN training method, our GeNN Eventprop implementation is 3X faster and uses 4X less memory. This work is a significant step towards a low-power neuromorphic alternative to current machine learning paradigms.
• Abstract（参考訳）: イベントベースの機械学習は、将来のニューロモルフィックハードウェア上でよりエネルギー効率の高いAIを約束する。 本稿では、最近発見されたEventpropアルゴリズムを用いて、スパイクニューラルネットワークの正確な勾配勾配の勾配勾配を求める手法を、挑戦的なキーワード認識ベンチマークに拡張する方法について検討する。 我々は、GPU強化ニューラルネットワークフレームワークにEventpropを実装し、Spike Heidelberg DigitsとSpking Speech Commandsデータセット上で、繰り返しスパイクニューラルネットワークのトレーニングに使用した。 その結果、学習は損失関数に強く依存し、Eventpropをより広範な損失関数に拡張し、効果的なトレーニングを可能にした。 次に、さまざまなネットワーク構造、異質でトレーニング可能な時間スケールを探索するだけでなく、多数のデータ拡張と正規化をテストしました。 そこで我々は,2つの特定の拡張,右正規化と遅延ライン入力を組み合わせることで,スパイキングハイデルベルク・ディジットの最先端性能とスパイキング音声コマンドの精度を実現した。 GeNN Eventpropの実装は,主要な代理段階に基づくSNNトレーニング手法と比較して3倍高速で,メモリは4倍少ない。 この研究は、現在の機械学習パラダイムに代わる低消費電力のニューロモルフィックへの重要なステップである。

関連論文リスト

• Event-based backpropagation on the neuromorphic platform SpiNNaker2 [1.0597501054401728]
  EventPropはスパイクニューラルネットワーク(SNN)におけるイベントベースのバックプロパゲーションのためのアルゴリズム 本実装では, 微分方程式とその共役の離散バージョンを用いて, 漏洩した積分・発火ニューロンの多層ネットワークを計算した。 我々は,Yin Yangデータセットを用いたSNNのバッチ並列化オンチップトレーニングの概念実証を行った。
  論文  参考訳（メタデータ） (2024-12-19T16:31:42Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• EXODUS: Stable and Efficient Training of Spiking Neural Networks [0.0]
  エネルギー効率が最も重要である機械学習タスクでは、スパイキングニューラルネットワーク(SNN)が大きな注目を集めている。 ShresthaとOrchard [2018]による以前の作業では、SLAYERと呼ばれる効率的なGPU加速バックプロパゲーションアルゴリズムが採用されており、トレーニングの大幅なスピードアップを実現している。 我々はSLAYERを修正してEXODUSと呼ばれるアルゴリズムを設計し、ニューロンリセット機構を考慮し、インプリシット関数定理(IFT)を適用して正しい勾配を計算する。
  論文  参考訳（メタデータ） (2022-05-20T15:13:58Z)
• Event-Based Backpropagation can compute Exact Gradients for Spiking Neural Networks [0.0]
  スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。 この研究は、連続時間スパイクニューラルネットワークと一般損失関数のバックプロパゲーションアルゴリズムを初めて導いた。 EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。
  論文  参考訳（メタデータ） (2020-09-17T15:45:00Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• A Deep Unsupervised Feature Learning Spiking Neural Network with Binarized Classification Layers for EMNIST Classification using SpykeFlow [0.0]
  二成分アクティベーションを用いたスパイクタイミング依存塑性(STDP)の教師なし学習技術は、スパイク入力データから特徴を抽出するために用いられる。 バランスの取れたEMNISTデータセットに対するアキュラシーは、他のアプローチと好意的に比較した。
  論文  参考訳（メタデータ） (2020-02-26T23:47:35Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。