論文の概要: Take A Shortcut Back: Mitigating the Gradient Vanishing for Training
Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2401.04486v1
- Date: Tue, 9 Jan 2024 10:54:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 15:43:49.077328
- Title: Take A Shortcut Back: Mitigating the Gradient Vanishing for Training
Spiking Neural Networks
- Title（参考訳）: 近道:スパイクニューラルネットワークのトレーニングのための勾配消失の緩和
- Authors: Yufei Guo, Yuanpei Chen
- Abstract要約: Spiking Neural Network(SNN)は生物学的にインスパイアされたニューラルネットワーク基盤であり、最近大きな注目を集めている。
SNNの訓練は、発射スパイクプロセスの未定義の勾配のため、直接的に挑戦する。
本論文では,損失から浅い層に直接勾配を伝達する手法を提案する。
- 参考スコア（独自算出の注目度）: 8.667899218289328
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The Spiking Neural Network (SNN) is a biologically inspired neural network
infrastructure that has recently garnered significant attention. It utilizes
binary spike activations to transmit information, thereby replacing
multiplications with additions and resulting in high energy efficiency.
However, training an SNN directly poses a challenge due to the undefined
gradient of the firing spike process. Although prior works have employed
various surrogate gradient training methods that use an alternative function to
replace the firing process during back-propagation, these approaches ignore an
intrinsic problem: gradient vanishing. To address this issue, we propose a
shortcut back-propagation method in our paper, which advocates for transmitting
the gradient directly from the loss to the shallow layers. This enables us to
present the gradient to the shallow layers directly, thereby significantly
mitigating the gradient vanishing problem. Additionally, this method does not
introduce any burden during the inference phase. To strike a balance between
final accuracy and ease of training, we also propose an evolutionary training
framework and implement it by inducing a balance coefficient that dynamically
changes with the training epoch, which further improves the network's
performance. Extensive experiments conducted over static and dynamic datasets
using several popular network structures reveal that our method consistently
outperforms state-of-the-art methods.
- Abstract（参考訳）: Spiking Neural Network(SNN)は生物学的にインスパイアされたニューラルネットワーク基盤であり、最近大きな注目を集めている。
二分スパイクアクティベーションを利用して情報を伝達し、乗算を加算に置き換え、高いエネルギー効率をもたらす。
しかしながら、SNNの訓練は、発射スパイクプロセスの未定義の勾配のため、直接的に課題となる。
従来の作業では、バックプロパゲーション中の発射プロセスを置き換えるために代替機能を使用する様々な代理勾配訓練手法が用いられてきたが、これらのアプローチは固有の問題を無視している。
この問題に対処するため,本論文では,損失から浅い層へ直接勾配を伝達することを提唱するショートカットバックプロパゲーション手法を提案する。
これにより,浅層に直接勾配を提示することで,勾配消失問題を大幅に軽減することができる。
さらに、この手法は推論フェーズ中にいかなる負担も生じない。
最終精度と訓練の容易さのバランスを両立させるため,ネットワークの性能をさらに向上させるように,学習期間とともに動的に変化するバランス係数を誘導し,進化的トレーニングフレームワークを提案する。
複数の一般的なネットワーク構造を用いた静的および動的データセット上での広範な実験により,本手法が最先端手法を一貫して上回っていることが明らかとなった。
関連論文リスト
- Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。
SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。
この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。
本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
論文 参考訳（メタデータ） (2024-11-11T15:20:54Z) - Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。
時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。
BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。
BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-14T21:15:29Z) - A Novel Method for improving accuracy in neural network by reinstating
traditional back propagation technique [0.0]
本稿では,各層における勾配計算の必要性を解消する新しい瞬時パラメータ更新手法を提案する。
提案手法は,学習を加速し,消失する勾配問題を回避し,ベンチマークデータセット上で最先端の手法より優れる。
論文 参考訳（メタデータ） (2023-08-09T16:41:00Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
適応型ニューラルネットワークの動的対向攻撃問題について検討する。
本稿では,LGM(Leaded Gradient Method)を提案する。
我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
論文 参考訳（メタデータ） (2022-10-15T01:32:08Z) - Scaling Private Deep Learning with Low-Rank and Sparse Gradients [5.14780936727027]
ニューラルネットワークの低ランクかつスパースな構造を利用して、勾配更新の次元を小さくするフレームワークを提案する。
勾配を拡大するために新しい戦略が利用され、低次元でノイズの少ない更新をもたらす。
自然言語処理とコンピュータビジョンタスクの実証評価により,本手法が他の最先端のベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2022-07-06T14:09:47Z) - Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。
勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。
非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
論文 参考訳（メタデータ） (2021-06-17T13:24:43Z) - Gradient Amplification: An efficient way to train deep neural networks [1.6542034477245091]
本研究では,ディープラーニングモデルの学習における勾配増幅手法を提案する。
また,学習率の異なる複数のエポックにまたがる勾配増幅を可能または無効にするためのトレーニング戦略も開発している。
論文 参考訳（メタデータ） (2020-06-16T20:30:55Z) - The Break-Even Point on Optimization Trajectories of Deep Neural
Networks [64.7563588124004]
この軌道上の「破滅的な」点の存在を論じる。
トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。
また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
論文 参考訳（メタデータ） (2020-02-21T22:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。