論文の概要: Accelerating spiking neural network training

• arxiv url: http://arxiv.org/abs/2205.15286v1
• Date: Mon, 30 May 2022 17:48:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 14:45:26.020969
• Title: Accelerating spiking neural network training
• Title（参考訳）: スパイクニューラルネットワークトレーニングの高速化
• Authors: Luke Taylor, Andrew King, Nicol Harper
• Abstract要約: スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、脳内の活動電位にインスパイアされた人工ネットワークの一種である。 本稿では,全ての逐次計算を排除し,ベクトル化された演算にのみ依存する単一スパイク/ニューラルオンSNNを直接訓練する手法を提案する。 提案手法は, 従来のSNNと比較して, 95.68 %以上のスパイク数削減を達成し, ニューロモルフィックコンピュータ上でのエネルギー要求を著しく低減する。
• 参考スコア（独自算出の注目度）: 1.6114012813668934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNN) are a type of artificial network inspired by the use of action potentials in the brain. There is a growing interest in emulating these networks on neuromorphic computers due to their improved energy consumption and speed, which are the main scaling issues of their counterpart the artificial neural network (ANN). Significant progress has been made in directly training SNNs to perform on par with ANNs in terms of accuracy. These methods are however slow due to their sequential nature, leading to long training times. We propose a new technique for directly training single-spike-per-neuron SNNs which eliminates all sequential computation and relies exclusively on vectorised operations. We demonstrate over a $\times 10$ speedup in training with robust classification performance on real datasets of low to medium spatio-temporal complexity (Fashion-MNIST and Neuromophic-MNIST). Our proposed solution manages to solve certain tasks with over a $95.68 \%$ reduction in spike counts relative to a conventionally trained SNN, which could significantly reduce energy requirements when deployed on neuromorphic computers.
• Abstract（参考訳）: spiking neural networks(snn)は、脳内の活動電位の使用に触発された人工ネットワークの一種である。 これらのネットワークをニューロモルフィックコンピュータ上でエミュレートすることへの関心は、エネルギー消費と速度の向上によって高まっている。 正確性の観点から、SNNと同等に動作するようにSNNを直接訓練する上で、重要な進歩があった。 しかし、これらの手法はシーケンシャルな性質のため遅いため、長い訓練時間に繋がる。 本稿では,逐次計算をすべて排除し,ベクトル化演算のみに依存するsnsに対する単一スパイクの直接学習手法を提案する。 我々は,低時間・中時空間複雑性の実際のデータセット(Fashion-MNISTとNeuromophic-MNIST)に対して,ロバストな分類性能を持つトレーニングにおける10ドル以上のスピードアップを示す。 提案する解法では,従来訓練されたsnと比較してスパイク数を95.68セント以上削減することで,ニューロモルフィックコンピュータへの展開時のエネルギー要求を大幅に削減することができる。

関連論文リスト

• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks [3.7384509727711923]
  ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。 本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。 提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T14:03:41Z)
• Sparse Spiking Gradient Descent [2.741266294612776]
  本稿では,従来の手法と同等あるいはより高精度なSNNバックプロパゲーションアルゴリズムを提案する。 本稿では,複雑性の異なる実データセットに対する本手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-05-18T20:00:55Z)
• Combining Spiking Neural Network and Artificial Neural Network for Enhanced Image Classification [1.8411688477000185]
  生物学的脳シナプスによく似たSNN(spiking neural Network)は、低消費電力のために注目を集めている。 我々は、関係する性能を改善する汎用ハイブリッドニューラルネットワーク(hnn)を構築した。
  論文  参考訳（メタデータ） (2021-02-21T12:03:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。