論文の概要: Loss shaping enhances exact gradient learning with EventProp in Spiking
Neural Networks
- arxiv url: http://arxiv.org/abs/2212.01232v1
- Date: Fri, 2 Dec 2022 15:20:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 15:39:37.395279
- Title: Loss shaping enhances exact gradient learning with EventProp in Spiking
Neural Networks
- Title（参考訳）: スパイキングニューラルネットワークにおけるイベントプロップによる正確な勾配学習の強化
- Authors: Thomas Nowotny, James P. Turner, James C. Knight
- Abstract要約: より広範な損失関数をサポートするためのEventPropの拡張と、GPU拡張ニューロンネットワークフレームワークの実装について述べる。
EventPropはいくつかのタスクでうまく機能しますが、他のタスクでは学習が遅くなり、完全に失敗する問題があります。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In a recent paper Wunderlich and Pehle introduced the EventProp algorithm
that enables training spiking neural networks by gradient descent on exact
gradients. In this paper we present extensions of EventProp to support a wider
class of loss functions and an implementation in the GPU enhanced neuronal
networks framework which exploits sparsity. The GPU acceleration allows us to
test EventProp extensively on more challenging learning benchmarks. We find
that EventProp performs well on some tasks but for others there are issues
where learning is slow or fails entirely. Here, we analyse these issues in
detail and discover that they relate to the use of the exact gradient of the
loss function, which by its nature does not provide information about loss
changes due to spike creation or spike deletion. Depending on the details of
the task and loss function, descending the exact gradient with EventProp can
lead to the deletion of important spikes and so to an inadvertent increase of
the loss and decrease of classification accuracy and hence a failure to learn.
In other situations the lack of knowledge about the benefits of creating
additional spikes can lead to a lack of gradient flow into earlier layers,
slowing down learning. We eventually present a first glimpse of a solution to
these problems in the form of `loss shaping', where we introduce a suitable
weighting function into an integral loss to increase gradient flow from the
output layer towards earlier layers.
- Abstract（参考訳）: Wunderlich氏とPehle氏は最近の論文で、正確な勾配の勾配勾配によるニューラルネットワークのトレーニングを可能にするEventPropアルゴリズムを紹介した。
本稿では、より広範な損失関数をサポートするEventPropの拡張と、疎性を利用したGPU拡張ニューロンネットワークフレームワークの実装について述べる。
GPUアクセラレーションにより、より難しい学習ベンチマークでEventPropを広範囲にテストできます。
eventpropはいくつかのタスクでうまく機能するが、学習が遅かったり、完全に失敗したりする問題もある。
そこで本研究では,これらの問題を詳細に分析し,スパイク生成やスパイク削除による損失変化に関する情報を提供しない損失関数の正確な勾配の利用に関係していることを発見した。
タスクと損失関数の詳細に応じて、eventpropで正確な勾配を降下すると重要なスパイクが削除され、不注意に損失が増加し、分類精度が低下し、学習が失敗する。
他の状況では、追加のスパイクを作成することの利点に関する知識の欠如は、以前のレイヤへの勾配フローの欠如につながり、学習を遅くする。
最終的に、これらの問題の解法を ‘loss shaping' という形で初めて可視化し、積分損失に適切な重み付け関数を導入し、出力層から以前の層への勾配フローを増加させる。
関連論文リスト
- Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - An error-propagation spiking neural network compatible with neuromorphic
processors [2.432141667343098]
本稿では,局所的な重み更新機構を用いたバックプロパゲーションを近似したスパイクに基づく学習手法を提案する。
本稿では,重み更新機構による誤り信号のバックプロパゲートを可能にするネットワークアーキテクチャを提案する。
この研究は、超低消費電力混合信号ニューロモルフィック処理系の設計に向けた第一歩である。
論文 参考訳（メタデータ） (2021-04-12T07:21:08Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳（メタデータ） (2021-03-09T14:51:34Z) - Training Convolutional Neural Networks With Hebbian Principal Component
Analysis [10.026753669198108]
ヘブリアン学習は、ニューラルネットワークの下層または高層を訓練するために使用することができる。
私たちは、HWTA(Hebbian Winner Takes All)戦略の代わりに、非線形のHebbianプリンシパルコンポーネント分析(HPCA)学習ルールを使用します。
特にHPCAルールは、CIFAR-10イメージデータセットから関連する特徴を抽出するために、畳み込みニューラルネットワークのトレーニングに使用される。
論文 参考訳（メタデータ） (2020-12-22T18:17:46Z) - Event-Based Backpropagation can compute Exact Gradients for Spiking
Neural Networks [0.0]
スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。
この研究は、連続時間スパイクニューラルネットワークと一般損失関数のバックプロパゲーションアルゴリズムを初めて導いた。
EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。
論文 参考訳（メタデータ） (2020-09-17T15:45:00Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z) - A Deep Unsupervised Feature Learning Spiking Neural Network with
Binarized Classification Layers for EMNIST Classification using SpykeFlow [0.0]
二成分アクティベーションを用いたスパイクタイミング依存塑性(STDP)の教師なし学習技術は、スパイク入力データから特徴を抽出するために用いられる。
バランスの取れたEMNISTデータセットに対するアキュラシーは、他のアプローチと好意的に比較した。
論文 参考訳（メタデータ） (2020-02-26T23:47:35Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。