論文の概要: STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2411.11082v2
• Date: Wed, 27 Nov 2024 15:49:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:24:37.082133
• Title: STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks
• Title（参考訳）: STOP: 深部スパイクニューラルネットワークの重み付きリーク同期学習のための時空間直交伝搬
• Authors: Haoran Gao, Xichuan Zhou, Yingcheng Lin, Min Tian, Liyuan Liu, Cong Shi,
• Abstract要約: ディープ脳スパイクニューラルネットワーク(SNN)モデルは、効率的で高精度なディープSNN学習アルゴリズムを欠いている。 我々のアルゴリズムは、SNNの精度を向上させるために、完全なシナジスティック学習と、スパイキングニューロンのしきい値や漏れ要因の発射を可能にする。 特徴的に、空間的に後ろ向きの神経の誤りと時間的前向きのトレースは互いに独立して伝播し、計算の複雑さを著しく減少させる。
• 参考スコア（独自算出の注目度）: 11.85044871205734
• License:
• Abstract: The prevailing of artificial intelligence-of-things calls for higher energy-efficient edge computing paradigms, such as neuromorphic agents leveraging brain-inspired spiking neural network (SNN) models based on spatiotemporally sparse binary spikes. However, the lack of efficient and high-accuracy deep SNN learning algorithms prevents them from practical edge deployments at a strictly bounded cost. In this paper, we propose the spatiotemporal orthogonal propagation (STOP) algorithm to tackle this challenge. Our algorithm enables fully synergistic learning of synaptic weights as well as firing thresholds and leakage factors in spiking neurons to improve SNN accuracy, in a unified temporally-forward trace-based framework to mitigate the huge memory requirement for storing neural states across all time-steps in the forward pass. Characteristically, the spatially-backward neuronal errors and temporally-forward traces propagate orthogonally to and independently of each other, substantially reducing computational complexity. Our STOP algorithm obtained high recognition accuracies of 94.84%, 74.92%, 98.26% and 77.10% on the CIFAR-10, CIFAR-100, DVS-Gesture and DVS-CIFAR10 datasets with adequate deep convolutional SNNs of VGG-11 or ResNet-18 structures. Compared with other deep SNN training algorithms, our method is more plausible for edge intelligent scenarios where resources are limited but high-accuracy in-situ learning is desired.
• Abstract（参考訳）: 人工知能の主流は、時空間的にスパースな二分スパイクに基づく脳誘発スパイクニューラルネットワーク(SNN)モデルを活用するニューロモルフィックエージェントのような高エネルギー効率エッジコンピューティングパラダイムである。 しかし、効率的で高精度なSNN学習アルゴリズムの欠如は、厳密な拘束力のあるコストで、実用的なエッジデプロイメントを妨げている。 本稿では,この課題に対処するための時空間直交伝搬(STOP)アルゴリズムを提案する。 我々のアルゴリズムは, シナプス重みの完全相乗的学習と, スパイキングニューロンの発射しきい値および漏れ要因の完全相乗学習を可能にし, SNNの精度を向上させる。 特筆すべきは、空間的に後ろ向きの神経の誤りと時間的に前方のトレースが互いに直交し、互いに独立して伝播し、計算の複雑さを著しく減少させることである。 我々のSTOPアルゴリズムは、CIFAR-10、CIFAR-100、DVS-CIFAR10データセットで94.84%、74.92%、98.26%、77.10%の認識精度を得た。 他の深層SNNトレーニングアルゴリズムと比較して、リソースが制限されているが高精度なインサイト学習が望まれるエッジインテリジェントなシナリオに対して、我々の手法はより妥当である。

関連論文リスト

• FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
  Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する 本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。 さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
  論文  参考訳（メタデータ） (2024-03-27T09:25:20Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
  本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。 教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。 この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T09:56:02Z)
• Ultra-low Latency Adaptive Local Binary Spiking Neural Network with Accuracy Loss Estimator [4.554628904670269]
  精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。 実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-31T09:03:57Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Advancing Residual Learning towards Powerful Deep Spiking Neural Networks [16.559670769601038]
  残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。 MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。 MS-ResNet 104はImageNetで76.02%の精度を達成した。
  論文  参考訳（メタデータ） (2021-12-15T05:47:21Z)
• Advancing Deep Residual Learning by Solving the Crux of Degradation in Spiking Neural Networks [21.26300397341615]
  残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。 本稿では,SNNの深度を大幅に拡張できる新しい残差ブロックを提案する。
  論文  参考訳（メタデータ） (2021-12-09T06:29:00Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。