論文の概要: Event-Based Backpropagation can compute Exact Gradients for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2009.08378v3
• Date: Mon, 31 May 2021 18:00:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 11:41:28.146070
• Title: Event-Based Backpropagation can compute Exact Gradients for Spiking Neural Networks
• Title（参考訳）: イベントベースのバックプロパゲーションはスパイクニューラルネットワークの正確な勾配を計算する
• Authors: Timo C. Wunderlich, Christian Pehle
• Abstract要約: スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。 この研究は、連続時間スパイクニューラルネットワークと一般損失関数のバックプロパゲーションアルゴリズムを初めて導いた。 EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks combine analog computation with event-based communication using discrete spikes. While the impressive advances of deep learning are enabled by training non-spiking artificial neural networks using the backpropagation algorithm, applying this algorithm to spiking networks was previously hindered by the existence of discrete spike events and discontinuities. For the first time, this work derives the backpropagation algorithm for a continuous-time spiking neural network and a general loss function by applying the adjoint method together with the proper partial derivative jumps, allowing for backpropagation through discrete spike events without approximations. This algorithm, EventProp, backpropagates errors at spike times in order to compute the exact gradient in an event-based, temporally and spatially sparse fashion. We use gradients computed via EventProp to train networks on the Yin-Yang and MNIST datasets using either a spike time or voltage based loss function and report competitive performance. Our work supports the rigorous study of gradient-based learning algorithms in spiking neural networks and provides insights toward their implementation in novel brain-inspired hardware.
• Abstract（参考訳）: スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。 バックプロパゲーションアルゴリズムを用いて非スパイクニューラルネットワークをトレーニングすることで、ディープラーニングの驚くべき進歩が実現される一方で、このアルゴリズムをスパイクネットワークに適用することは、以前は離散スパイクイベントや不連続の存在によって妨げられていた。 この研究は、連続時間スパイクニューラルネットワークのバックプロパゲーションアルゴリズムと、適切な偏微分ジャンプとともに随伴法を適用し、近似なしで離散スパイクイベントを介してバックプロパゲーションを可能にする一般損失関数を初めて導出する。 このアルゴリズムであるeventpropは、イベントベース、時間的、空間的にスパースな方法で正確な勾配を計算するために、スパイク時のエラーをバックプロパゲーションする。 EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。 我々の研究は、ニューラルネットワークのスパイクにおける勾配に基づく学習アルゴリズムの厳密な研究を支援し、新しい脳に触発されたハードウェアにおけるその実装に関する洞察を提供する。

関連論文リスト

• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Loss shaping enhances exact gradient learning with EventProp in Spiking Neural Networks [0.1350479308585481]
  Eventpropは、スパイキングニューラルネットワークの正確な勾配の勾配勾配のアルゴリズムである。 我々は、GPU強化ニューラルネットワークフレームワークにEventpropを実装した。 ネットワークはスパイキングハイデルベルク・ディジットの最先端性能とスパイキング音声コマンドの精度を達成する。
  論文  参考訳（メタデータ） (2022-12-02T15:20:58Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Proximal Mean Field Learning in Shallow Neural Networks [0.4972323953932129]
  無限幅の単一の隠蔽層を有する浅層ニューラルネットワークのための独自の学習アルゴリズムを提案する。 解析ツールとしてではなく,計算アルゴリズムとして,平均場学習を実現する。 本アルゴリズムはリスク関数に関連する自由エネルギーの勾配降下を行う。
  論文  参考訳（メタデータ） (2022-10-25T10:06:26Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Supervised Learning in Temporally-Coded Spiking Neural Networks with Approximate Backpropagation [0.021506382989223777]
  本稿では,時間的に符号化された多層スパイキングネットワークのための教師付き学習手法を提案する。 この方法はバックプロパゲーションを模倣する強化信号を用いるが、計算集約性ははるかに低い。 シミュレーションされたMNIST手書き桁分類では、このルールで訓練された2層ネットワークは、同等のバックプロパゲーションベースの非スパイキングネットワークの性能と一致した。
  論文  参考訳（メタデータ） (2020-07-27T03:39:49Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation [7.952659059689134]
  スパイキングニューラルネットワーク(SNN)は、スパースでイベント駆動の計算によって生じる潜在的なエネルギー効率について検討されている。 本稿では,損失関数のスパイク数と従来の誤差損失とを明示的に含み,精度とスパイク間隔の両方の重みパラメータを最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-02T23:39:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。