論文の概要: Loss shaping enhances exact gradient learning with EventProp in Spiking
Neural Networks
- arxiv url: http://arxiv.org/abs/2212.01232v1
- Date: Fri, 2 Dec 2022 15:20:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 15:39:37.395279
- Title: Loss shaping enhances exact gradient learning with EventProp in Spiking
Neural Networks
- Title(参考訳): スパイキングニューラルネットワークにおけるイベントプロップによる正確な勾配学習の強化
- Authors: Thomas Nowotny, James P. Turner, James C. Knight
- Abstract要約: より広範な損失関数をサポートするためのEventPropの拡張と、GPU拡張ニューロンネットワークフレームワークの実装について述べる。
EventPropはいくつかのタスクでうまく機能しますが、他のタスクでは学習が遅くなり、完全に失敗する問題があります。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In a recent paper Wunderlich and Pehle introduced the EventProp algorithm
that enables training spiking neural networks by gradient descent on exact
gradients. In this paper we present extensions of EventProp to support a wider
class of loss functions and an implementation in the GPU enhanced neuronal
networks framework which exploits sparsity. The GPU acceleration allows us to
test EventProp extensively on more challenging learning benchmarks. We find
that EventProp performs well on some tasks but for others there are issues
where learning is slow or fails entirely. Here, we analyse these issues in
detail and discover that they relate to the use of the exact gradient of the
loss function, which by its nature does not provide information about loss
changes due to spike creation or spike deletion. Depending on the details of
the task and loss function, descending the exact gradient with EventProp can
lead to the deletion of important spikes and so to an inadvertent increase of
the loss and decrease of classification accuracy and hence a failure to learn.
In other situations the lack of knowledge about the benefits of creating
additional spikes can lead to a lack of gradient flow into earlier layers,
slowing down learning. We eventually present a first glimpse of a solution to
these problems in the form of `loss shaping', where we introduce a suitable
weighting function into an integral loss to increase gradient flow from the
output layer towards earlier layers.
- Abstract(参考訳): Wunderlich氏とPehle氏は最近の論文で、正確な勾配の勾配勾配によるニューラルネットワークのトレーニングを可能にするEventPropアルゴリズムを紹介した。
本稿では、より広範な損失関数をサポートするEventPropの拡張と、疎性を利用したGPU拡張ニューロンネットワークフレームワークの実装について述べる。
GPUアクセラレーションにより、より難しい学習ベンチマークでEventPropを広範囲にテストできます。
eventpropはいくつかのタスクでうまく機能するが、学習が遅かったり、完全に失敗したりする問題もある。
そこで本研究では,これらの問題を詳細に分析し,スパイク生成やスパイク削除による損失変化に関する情報を提供しない損失関数の正確な勾配の利用に関係していることを発見した。
タスクと損失関数の詳細に応じて、eventpropで正確な勾配を降下すると重要なスパイクが削除され、不注意に損失が増加し、分類精度が低下し、学習が失敗する。
他の状況では、追加のスパイクを作成することの利点に関する知識の欠如は、以前のレイヤへの勾配フローの欠如につながり、学習を遅くする。
最終的に、これらの問題の解法を ‘loss shaping' という形で初めて可視化し、積分損失に適切な重み付け関数を導入し、出力層から以前の層への勾配フローを増加させる。
関連論文リスト
- How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。
この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。
厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文 参考訳(メタデータ) (2023-12-07T21:40:44Z) - Alternate Loss Functions for Classification and Robust Regression Can
Improve the Accuracy of Artificial Neural Networks [7.5620539044013535]
本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。
様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
論文 参考訳(メタデータ) (2023-03-17T12:52:06Z) - Theoretical Characterization of How Neural Network Pruning Affects its
Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。
プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。
より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文 参考訳(メタデータ) (2023-01-01T03:10:45Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳(メタデータ) (2022-07-08T18:17:06Z) - A Comprehensive Study on Optimization Strategies for Gradient Descent In
Deep Learning [0.0]
この記事では,勾配降下の最適化戦略について紹介する。
さらに,これらのアルゴリズムのアーキテクチャや,ニューラルネットワークのさらなる最適化についても論じる。
論文 参考訳(メタデータ) (2021-01-07T06:24:55Z) - Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。
提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
論文 参考訳(メタデータ) (2020-10-21T02:13:26Z) - Event-Based Backpropagation can compute Exact Gradients for Spiking
Neural Networks [0.0]
スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。
この研究は、連続時間スパイクニューラルネットワークと一般損失関数のバックプロパゲーションアルゴリズムを初めて導いた。
EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。
論文 参考訳(メタデータ) (2020-09-17T15:45:00Z) - The Golden Ratio of Learning and Momentum [0.5076419064097732]
本稿では,シナプスにおけるニューラル信号処理による情報理論的損失関数を提案する。
すべての結果は、損失、学習率、モーメントが密接に関連していることを示している。
論文 参考訳(メタデータ) (2020-06-08T17:08:13Z) - The Break-Even Point on Optimization Trajectories of Deep Neural
Networks [64.7563588124004]
この軌道上の「破滅的な」点の存在を論じる。
トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。
また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
論文 参考訳(メタデータ) (2020-02-21T22:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。