論文の概要: Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation

• arxiv url: http://arxiv.org/abs/2003.01250v1
• Date: Mon, 2 Mar 2020 23:39:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:03:14.854314
• Title: Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation
• Title（参考訳）: バックプロパゲーションを有するスパイクニューラルネットワークにおけるスパイキング空間の訓練
• Authors: Jason M. Allred, Steven J. Spencer, Gopalakrishnan Srinivasan, Kaushik Roy
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、スパースでイベント駆動の計算によって生じる潜在的なエネルギー効率について検討されている。 本稿では,損失関数のスパイク数と従来の誤差損失とを明示的に含み,精度とスパイク間隔の両方の重みパラメータを最適化する手法を提案する。
• 参考スコア（独自算出の注目度）: 7.952659059689134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) are being explored for their potential energy efficiency resulting from sparse, event-driven computations. Many recent works have demonstrated effective backpropagation for deep Spiking Neural Networks (SNNs) by approximating gradients over discontinuous neuron spikes or firing events. A beneficial side-effect of these surrogate gradient spiking backpropagation algorithms is that the spikes, which trigger additional computations, may now themselves be directly considered in the gradient calculations. We propose an explicit inclusion of spike counts in the loss function, along with a traditional error loss, causing the backpropagation learning algorithms to optimize weight parameters for both accuracy and spiking sparsity. As supported by existing theory of over-parameterized neural networks, there are many solution states with effectively equivalent accuracy. As such, appropriate weighting of the two loss goals during training in this multi-objective optimization process can yield an improvement in spiking sparsity without a significant loss of accuracy. We additionally explore a simulated annealing-inspired loss weighting technique to increase the weighting for sparsity as training time increases. Our preliminary results on the Cifar-10 dataset show up to 70.1% reduction in spiking activity with iso-accuracy compared to an equivalent SNN trained only for accuracy and up to 73.3% reduction in spiking activity if allowed a trade-off of 1% reduction in classification accuracy.
• Abstract（参考訳）: スパイキングニューラルネットワーク(snn)は、スパースなイベント駆動計算によって生じる潜在的エネルギー効率のために研究されている。 近年の多くの研究は、不連続なニューロンスパイクに対する勾配の近似や発射イベントによって、ディープスパイキングニューラルネットワーク(SNN)の効果的なバックプロパゲーションを実証している。 これらのサーロゲート勾配スパイキングバックプロパゲーションアルゴリズムの有益な副作用は、スパイクが追加計算をトリガし、勾配計算において直接的に考慮される可能性があることである。 本稿では,損失関数のスパイク数と従来の誤差損失を明示的に含み,逆伝播学習アルゴリズムが重みパラメータを精度とスパイク間隔の両方で最適化する原因となることを示す。 オーバーパラメータ化ニューラルネットワークの既存の理論に支えられているように、効果的に等価な精度の解状態が多数存在する。 このようにして、この多目的最適化プロセスにおけるトレーニング中の2つの損失目標の適切な重み付けは、精度を損なうことなく、スパイキングスパーシティを改善することができる。 さらに, 模擬焼鈍による損失重み付け手法を探索し, トレーニング時間の増加とともに疎みの重み付け量を増加させる。 我々のCifar-10データセットの予備的な結果は、等精度でスパイク活性を最大70.1%減少させ、分類精度の1%のトレードオフを許せば、精度で訓練された同等のSNNと最大73.3%のスパイク活性を減少させる。

関連論文リスト

• STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks [11.85044871205734]
  疎疎なバイナリアクティベーションに基づくディープニューラルネットワーク(SNN)モデルは、効率的で高精度なSNNディープラーニングアルゴリズムを欠いている。 我々のアルゴリズムは、シナプス重みを発射する完全相乗的学習アルゴリズムと、ニューロンのしきい値とスパイク因子を併用することにより、SNNの精度を向上させる。 統合された時間的フォワードトレースベースのフレームワークの下では、前方パスにすべての時間ステップのニューラルステートを格納するための巨大なメモリ要件を緩和する。 本手法は,資源に制限があるが高精度なインサイト学習が望まれるエッジインテリジェントシナリオに対して,より有効な方法である。
  論文  参考訳（メタデータ） (2024-11-17T14:15:54Z)
• YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training [9.02251811867533]
  YOSO(You-Only-Sample-Once)は、予測精度を維持しながら効率的なトレーニングを実現するアルゴリズムである。 YOSOは、正規直交基底計算のような従来の圧縮センシング(CS)法で高価な計算を避けるだけでなく、高い確率精度の保持も保証している。
  論文  参考訳（メタデータ） (2024-11-08T16:47:51Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning [0.0]
  本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。 我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2022-08-11T07:13:59Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Event-Based Backpropagation can compute Exact Gradients for Spiking Neural Networks [0.0]
  スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。 この研究は、連続時間スパイクニューラルネットワークと一般損失関数のバックプロパゲーションアルゴリズムを初めて導いた。 EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。
  論文  参考訳（メタデータ） (2020-09-17T15:45:00Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。