論文の概要: Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2110.08858v1
- Date: Sun, 17 Oct 2021 15:55:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-20 10:09:45.099397
- Title: Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks
- Title（参考訳）: 生体プラズブルな時空間調整による深部スパイクニューラルネットワークのトレーニング
- Authors: Guobin Shen, Dongcheng Zhao and Yi Zeng
- Abstract要約: ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
- 参考スコア（独自算出の注目度）: 5.484391472233163
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The spiking neural network (SNN) mimics the information processing operation
in the human brain, represents and transmits information in spike trains
containing wealthy spatial and temporal information, and shows superior
performance on many cognitive tasks. In addition, the event-driven information
processing enables the energy-efficient implementation on neuromorphic chips.
The success of deep learning is inseparable from backpropagation. Due to the
discrete information transmission, directly applying the backpropagation to the
training of the SNN still has a performance gap compared with the traditional
deep neural networks. Also, a large simulation time is required to achieve
better performance, which results in high latency. To address the problems, we
propose a biological plausible spatial adjustment, which rethinks the
relationship between membrane potential and spikes and realizes a reasonable
adjustment of gradients to different time steps. And it precisely controls the
backpropagation of the error along the spatial dimension. Secondly, we propose
a biologically plausible temporal adjustment making the error propagate across
the spikes in the temporal dimension, which overcomes the problem of the
temporal dependency within a single spike period of the traditional spiking
neurons. We have verified our algorithm on several datasets, and the
experimental results have shown that our algorithm greatly reduces the network
latency and energy consumption while also improving network performance. We
have achieved state-of-the-art performance on the neuromorphic datasets
N-MNIST, DVS-Gesture, and DVS-CIFAR10. For the static datasets MNIST and
CIFAR10, we have surpassed most of the traditional SNN backpropagation training
algorithm and achieved relatively superior performance.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、人間の脳における情報処理操作を模倣し、豊かな空間的および時間的情報を含むスパイクトレインで情報を表現し、伝達し、多くの認知タスクにおいて優れた性能を示す。
さらに、イベント駆動情報処理は、ニューロモルフィックチップのエネルギー効率の高い実装を可能にする。
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
離散的な情報伝達のため、SNNのトレーニングにバックプロパゲーションを直接適用しても、従来のディープニューラルネットワークと比較してパフォーマンスの差は残る。
また、パフォーマンス向上のためには大きなシミュレーション時間が必要であり、結果としてレイテンシが高くなる。
そこで本研究では, 膜電位とスパイクの関係を再考し, 異なる時間ステップへの勾配の適度な調整を実現する, 生物学的に妥当な空間調整を提案する。
そして、空間次元に沿った誤差のバックプロパゲーションを正確に制御する。
第二に,従来のスパイクニューロンのスパイク周期における時間依存問題を克服し,誤りを時間次元のスパイクに伝達させる生物学的に妥当な時間調整を提案する。
提案アルゴリズムを複数のデータセットで検証した結果,ネットワークのレイテンシと消費電力を大幅に低減し,ネットワーク性能も向上した。
我々はニューロモルフィックデータセットN-MNIST, DVS-Gesture, DVS-CIFAR10の最先端性能を達成した。
静的データセット MNIST と CIFAR10 については,従来の SNN のバックプロパゲーショントレーニングアルゴリズムの大部分を超え,比較的優れた性能を実現している。
関連論文リスト
- Zero-Shot Temporal Resolution Domain Adaptation for Spiking Neural Networks [3.2366933261812076]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたディープニューラルネットワークであり、時間的情報を効率的に抽出する。
SNNモデルパラメータは時間分解能に敏感であり、エッジでのターゲットデータの時間分解能が同じでない場合、大幅な性能低下を引き起こす。
本稿では,ニューロンパラメータを適応させる3つの新しい領域適応手法を提案する。
論文 参考訳（メタデータ） (2024-11-07T14:58:51Z) - Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-02T16:23:50Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Improving Stability and Performance of Spiking Neural Networks through
Enhancing Temporal Consistency [9.545711665562715]
スパイクニューラルネットワークは、脳のような情報処理能力のために大きな注目を集めている。
現在のトレーニングアルゴリズムは、様々なタイミングで出力分布の違いを無視する傾向にある。
我々は,異なるタイミングで出力の時間的一貫性を高める手法を考案した。
論文 参考訳（メタデータ） (2023-05-23T15:50:07Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural
Networks [3.7384509727711923]
ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。
本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。
提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
論文 参考訳（メタデータ） (2021-06-03T14:03:41Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳（メタデータ） (2021-05-27T08:38:31Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。