論文の概要: Loss shaping enhances exact gradient learning with EventProp in Spiking
Neural Networks
- arxiv url: http://arxiv.org/abs/2212.01232v1
- Date: Fri, 2 Dec 2022 15:20:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 15:39:37.395279
- Title: Loss shaping enhances exact gradient learning with EventProp in Spiking
Neural Networks
- Title（参考訳）: スパイキングニューラルネットワークにおけるイベントプロップによる正確な勾配学習の強化
- Authors: Thomas Nowotny, James P. Turner, James C. Knight
- Abstract要約: より広範な損失関数をサポートするためのEventPropの拡張と、GPU拡張ニューロンネットワークフレームワークの実装について述べる。
EventPropはいくつかのタスクでうまく機能しますが、他のタスクでは学習が遅くなり、完全に失敗する問題があります。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In a recent paper Wunderlich and Pehle introduced the EventProp algorithm
that enables training spiking neural networks by gradient descent on exact
gradients. In this paper we present extensions of EventProp to support a wider
class of loss functions and an implementation in the GPU enhanced neuronal
networks framework which exploits sparsity. The GPU acceleration allows us to
test EventProp extensively on more challenging learning benchmarks. We find
that EventProp performs well on some tasks but for others there are issues
where learning is slow or fails entirely. Here, we analyse these issues in
detail and discover that they relate to the use of the exact gradient of the
loss function, which by its nature does not provide information about loss
changes due to spike creation or spike deletion. Depending on the details of
the task and loss function, descending the exact gradient with EventProp can
lead to the deletion of important spikes and so to an inadvertent increase of
the loss and decrease of classification accuracy and hence a failure to learn.
In other situations the lack of knowledge about the benefits of creating
additional spikes can lead to a lack of gradient flow into earlier layers,
slowing down learning. We eventually present a first glimpse of a solution to
these problems in the form of `loss shaping', where we introduce a suitable
weighting function into an integral loss to increase gradient flow from the
output layer towards earlier layers.
- Abstract（参考訳）: Wunderlich氏とPehle氏は最近の論文で、正確な勾配の勾配勾配によるニューラルネットワークのトレーニングを可能にするEventPropアルゴリズムを紹介した。
本稿では、より広範な損失関数をサポートするEventPropの拡張と、疎性を利用したGPU拡張ニューロンネットワークフレームワークの実装について述べる。
GPUアクセラレーションにより、より難しい学習ベンチマークでEventPropを広範囲にテストできます。
eventpropはいくつかのタスクでうまく機能するが、学習が遅かったり、完全に失敗したりする問題もある。
そこで本研究では,これらの問題を詳細に分析し,スパイク生成やスパイク削除による損失変化に関する情報を提供しない損失関数の正確な勾配の利用に関係していることを発見した。
タスクと損失関数の詳細に応じて、eventpropで正確な勾配を降下すると重要なスパイクが削除され、不注意に損失が増加し、分類精度が低下し、学習が失敗する。
他の状況では、追加のスパイクを作成することの利点に関する知識の欠如は、以前のレイヤへの勾配フローの欠如につながり、学習を遅くする。
最終的に、これらの問題の解法を ‘loss shaping' という形で初めて可視化し、積分損失に適切な重み付け関数を導入し、出力層から以前の層への勾配フローを増加させる。
関連論文リスト
- Event-based backpropagation on the neuromorphic platform SpiNNaker2 [1.0597501054401728]
EventPropはスパイクニューラルネットワーク(SNN)におけるイベントベースのバックプロパゲーションのためのアルゴリズム
本実装では, 微分方程式とその共役の離散バージョンを用いて, 漏洩した積分・発火ニューロンの多層ネットワークを計算した。
我々は,Yin Yangデータセットを用いたSNNのバッチ並列化オンチップトレーニングの概念実証を行った。
論文 参考訳（メタデータ） (2024-12-19T16:31:42Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。
深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
論文 参考訳（メタデータ） (2023-06-22T04:25:27Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - EXODUS: Stable and Efficient Training of Spiking Neural Networks [0.0]
エネルギー効率が最も重要である機械学習タスクでは、スパイキングニューラルネットワーク(SNN)が大きな注目を集めている。
ShresthaとOrchard [2018]による以前の作業では、SLAYERと呼ばれる効率的なGPU加速バックプロパゲーションアルゴリズムが採用されており、トレーニングの大幅なスピードアップを実現している。
我々はSLAYERを修正してEXODUSと呼ばれるアルゴリズムを設計し、ニューロンリセット機構を考慮し、インプリシット関数定理(IFT)を適用して正しい勾配を計算する。
論文 参考訳（メタデータ） (2022-05-20T15:13:58Z) - Event-Based Backpropagation can compute Exact Gradients for Spiking
Neural Networks [0.0]
スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。
この研究は、連続時間スパイクニューラルネットワークと一般損失関数のバックプロパゲーションアルゴリズムを初めて導いた。
EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。
論文 参考訳（メタデータ） (2020-09-17T15:45:00Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - A Deep Unsupervised Feature Learning Spiking Neural Network with
Binarized Classification Layers for EMNIST Classification using SpykeFlow [0.0]
二成分アクティベーションを用いたスパイクタイミング依存塑性(STDP)の教師なし学習技術は、スパイク入力データから特徴を抽出するために用いられる。
バランスの取れたEMNISTデータセットに対するアキュラシーは、他のアプローチと好意的に比較した。
論文 参考訳（メタデータ） (2020-02-26T23:47:35Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。