論文の概要: Navigating Local Minima in Quantized Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2202.07221v1
- Date: Tue, 15 Feb 2022 06:42:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-17 02:08:02.385357
- Title: Navigating Local Minima in Quantized Spiking Neural Networks
- Title（参考訳）: 量子スパイクニューラルネットワークにおける局所最小化
- Authors: Jason K. Eshraghian, Corey Lammie, Mostafa Rahimi Azghadi, Wei D. Lu
- Abstract要約: 深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。
これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。
本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
- 参考スコア（独自算出の注目度）: 3.1351527202068445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking and Quantized Neural Networks (NNs) are becoming exceedingly
important for hyper-efficient implementations of Deep Learning (DL) algorithms.
However, these networks face challenges when trained using error
backpropagation, due to the absence of gradient signals when applying hard
thresholds. The broadly accepted trick to overcoming this is through the use of
biased gradient estimators: surrogate gradients which approximate thresholding
in Spiking Neural Networks (SNNs), and Straight-Through Estimators (STEs),
which completely bypass thresholding in Quantized Neural Networks (QNNs). While
noisy gradient feedback has enabled reasonable performance on simple supervised
learning tasks, it is thought that such noise increases the difficulty of
finding optima in loss landscapes, especially during the later stages of
optimization. By periodically boosting the Learning Rate (LR) during training,
we expect the network can navigate unexplored solution spaces that would
otherwise be difficult to reach due to local minima, barriers, or flat
surfaces. This paper presents a systematic evaluation of a cosine-annealed LR
schedule coupled with weight-independent adaptive moment estimation as applied
to Quantized SNNs (QSNNs). We provide a rigorous empirical evaluation of this
technique on high precision and 4-bit quantized SNNs across three datasets,
demonstrating (close to) state-of-the-art performance on the more complex
datasets. Our source code is available at this link:
https://github.com/jeshraghian/QSNNs.
- Abstract（参考訳）: 深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。
しかし、これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを用いてトレーニングする際の課題に直面している。
これを回避するために広く受け入れられているトリックは、バイアス付き勾配推定器を使用することである。スパイキングニューラルネットワーク(SNN)のしきい値に近い勾配と、量子ニューラルネットワーク(QNN)のしきい値を完全にバイパスするSTE(Straight-Through Estimator)である。
雑音下勾配フィードバックは単純な教師付き学習タスクにおいて合理的な性能をもたらすが、このようなノイズは、特に最適化の後期において、損失の風景においてオプティマを見つけることの難しさを増大させると考えられている。
トレーニング中にLR(Learning Rate)を定期的に増加させることで、ローカルなミニマやバリア、平らな表面のために到達し難い未探索のソリューション空間をネットワークがナビゲートできることを期待しています。
本稿では,量非依存の適応モーメント推定を量子化SNN(QSNN)に適用したコサインアニールLRスケジュールの体系的評価を行う。
3つのデータセットにまたがる高精度で4ビットの量子化sns上でのこの手法の厳密な実証的評価を行い、より複雑なデータセット上での最先端の性能を実証した。
私たちのソースコードはこのリンクで利用可能です。
関連論文リスト
- Parallel Hyperparameter Optimization Of Spiking Neural Network [0.5371337604556311]
スパイキングニューラルネットワーク(SNN)は、通常の人工ニューラルネットワークよりも生物学的にインスパイアされたアプローチに基づいている。
我々は、サイレントネットワークと呼ぶSNNの信号損失問題に取り組む。
早期停止基準を定義することで、我々はより大きく柔軟な検索空間をインスタンス化することができた。
論文 参考訳（メタデータ） (2024-03-01T11:11:59Z) - Low Latency of object detection for spikng neural network [3.404826786562694]
スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。
本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
論文 参考訳（メタデータ） (2023-09-27T10:26:19Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳（メタデータ） (2023-07-27T06:59:46Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Hoyer regularizer is all you need for ultra low-latency spiking neural
networks [4.243356707599485]
スパイキングニューラルネットワーク(SNN)は、幅広い低消費電力ビジョンタスクのための魅力的なHoyer-temporalコンピューティングパラダイムとして登場した。
我々は,最近提案された正規化器の新たな変種を利用したワンタイムSNNのためのトレーニングフレームワーク(スクラッチから)を提案する。
我々のアプローチは、複雑な画像認識タスクに対する精度-FLOPのトレードオフの観点から、既存のスパイキング、バイナリ、加算ニューラルネットワークよりも優れています。
論文 参考訳（メタデータ） (2022-12-20T11:16:06Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Ultra-low Latency Adaptive Local Binary Spiking Neural Network with
Accuracy Loss Estimator [4.554628904670269]
精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。
実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
論文 参考訳（メタデータ） (2022-07-31T09:03:57Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - Selfish Sparse RNN Training [13.165729746380816]
本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。
我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
論文 参考訳（メタデータ） (2021-01-22T10:45:40Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。