論文の概要: Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2003.11837v2
• Date: Wed, 4 Nov 2020 04:07:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-19 21:06:28.116104
• Title: Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks
• Title（参考訳）: ディープスパイキングニューラルネットにおけるバックプロパゲーションのための整流線形後シナプス電位関数
• Authors: Malu Zhang, Jiadong Wang, Burin Amornpaisannon, Zhixuan Zhang, VPK Miriyala, Ammar Belatreche, Hong Qu, Jibin Wu, Yansong Chua, Trevor E. Carlson and Haizhou Li
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
• 参考スコア（独自算出の注目度）: 55.0627904986664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) use spatio-temporal spike patterns to represent and transmit information, which is not only biologically realistic but also suitable for ultra-low-power event-driven neuromorphic implementation. Motivated by the success of deep learning, the study of Deep Spiking Neural Networks (DeepSNNs) provides promising directions for artificial intelligence applications. However, training of DeepSNNs is not straightforward because the well-studied error back-propagation (BP) algorithm is not directly applicable. In this paper, we first establish an understanding as to why error back-propagation does not work well in DeepSNNs. To address this problem, we propose a simple yet efficient Rectified Linear Postsynaptic Potential function (ReL-PSP) for spiking neurons and propose a Spike-Timing-Dependent Back-Propagation (STDBP) learning algorithm for DeepSNNs. In STDBP algorithm, the timing of individual spikes is used to convey information (temporal coding), and learning (back-propagation) is performed based on spike timing in an event-driven manner. Our experimental results show that the proposed learning algorithm achieves state-of-the-art classification accuracy in single spike time based learning algorithms of DeepSNNs. Furthermore, by utilizing the trained model parameters obtained from the proposed STDBP learning algorithm, we demonstrate the ultra-low-power inference operations on a recently proposed neuromorphic inference accelerator. Experimental results show that the neuromorphic hardware consumes 0.751~mW of the total power consumption and achieves a low latency of 47.71~ms to classify an image from the MNIST dataset. Overall, this work investigates the contribution of spike timing dynamics to information encoding, synaptic plasticity and decision making, providing a new perspective to design of future DeepSNNs and neuromorphic hardware systems.
• Abstract（参考訳）: spiking neural networks (snns) は時空間スパイクパターンを用いて情報を表現し、伝達する。 ディープラーニングの成功に触発されたDeep Spiking Neural Networks(DeepSNNs)の研究は、人工知能アプリケーションに有望な方向を提供する。 しかし、よく研究されたエラーバックプロパゲーション(BP)アルゴリズムは直接適用できないため、DeepSNNのトレーニングは簡単ではない。 本稿では,DeepSNNにおいてエラーバックプロパゲーションがうまく動作しない理由について,まず理解する。 この問題に対処するために,スパイキングニューロンに対する単純かつ効率的な線形後シナプス電位関数rel-pspを提案し,deepsnnsのためのスパイク・タイピング依存性バックプロパゲーション(stdbp)学習アルゴリズムを提案する。 STDBPアルゴリズムでは、個々のスパイクのタイミングを用いて情報(時間符号化)を伝達し、イベント駆動方式でスパイクタイミングに基づいて学習(バックプロパゲーション)を行う。 提案手法は,deepsnnのスパイク時間に基づく学習アルゴリズムにおいて,最先端の分類精度を実現できることを示す。 さらに,提案するstdbp学習アルゴリズムから得られたモデルパラメータを用いて,最近提案されたニューロモルフィック推論アクセラレータ上での超低消費電力推論操作を実証する。 実験の結果、ニューロモルフィックハードウェアは総消費電力の 0.751~mw を消費し、mnistデータセットから画像を分類するために 47.71~ms の低レイテンシを達成した。 本研究は,情報エンコーディング,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与を調査し,今後のdeepsnnとニューロモルフィックハードウェアシステムの設計への新たな展望を提供する。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Advancing Spiking Neural Networks for Sequential Modeling with Central Pattern Generators [47.371024581669516]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワークを開発するための有望なアプローチである。 SNNをテキスト分類や時系列予測といったシーケンシャルなタスクに適用することは、効果的でハードウェアフレンドリーなスパイク形式の位置符号化戦略を作成するという課題によって妨げられている。 CPG-PEと呼ばれる新しいSNNのためのPE手法を提案する。我々は、一般的に使われているsinusoidal PEが、数学的に特定のCPGの膜電位ダイナミクスの特定の解であることを実証する。
  論文  参考訳（メタデータ） (2024-05-23T09:39:12Z)
• Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
  スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。 本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。 提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
  論文  参考訳（メタデータ） (2024-04-26T22:52:23Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks [5.484391472233163]
  ディープラーニングの成功は、バックプロパゲーションとは分離できない。 本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。 次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
  論文  参考訳（メタデータ） (2021-10-17T15:55:51Z)
• Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks [3.7384509727711923]
  ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。 本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。 提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T14:03:41Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks [14.992756670960008]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率の良いイベント駆動ニューロモルフィックプロセッサの計算と実装に適している。 深部SNNを訓練するためのTSSL-BP(Temporal Spike Sequence Learning Backpropagation)法を提案する。
  論文  参考訳（メタデータ） (2020-02-24T05:49:37Z)
• Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal Learning of Deep Spiking Neural Network [7.503685643036081]
  空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。 ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。 本稿では,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-19T01:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。