論文の概要: STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2411.11082v1
• Date: Sun, 17 Nov 2024 14:15:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:36:11.681679
• Title: STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks
• Title（参考訳）: STOP: 深部スパイクニューラルネットワークの重み付きリーク同期学習のための時空間直交伝搬
• Authors: Haoran Gao, Xichuan Zhou, Yingcheng Lin, Min Tian, Liyuan Liu, Cong Shi,
• Abstract要約: 疎疎なバイナリアクティベーションに基づくディープニューラルネットワーク(SNN)モデルは、効率的で高精度なSNNディープラーニングアルゴリズムを欠いている。 我々のアルゴリズムは、シナプス重みを発射する完全相乗的学習アルゴリズムと、ニューロンのしきい値とスパイク因子を併用することにより、SNNの精度を向上させる。 統合された時間的フォワードトレースベースのフレームワークの下では、前方パスにすべての時間ステップのニューラルステートを格納するための巨大なメモリ要件を緩和する。 本手法は,資源に制限があるが高精度なインサイト学習が望まれるエッジインテリジェントシナリオに対して,より有効な方法である。
• 参考スコア（独自算出の注目度）: 11.85044871205734
• License:
• Abstract: The prevailing of artificial intelligence-of-things calls for higher energy-efficient edge computing paradigms, such as neuromorphic agents leveraging brain-inspired spiking neural network (SNN) models based on spatiotemporally sparse binary activations. However, the lack of efficient and high-accuracy deep SNN learning algorithms prevents them from practical edge deployments with a strictly bounded cost. In this paper, we propose a spatiotemporal orthogonal propagation (STOP) algorithm to tack this challenge. Our algorithm enables fully synergistic learning of synaptic weights as well as firing thresholds and leakage factors in spiking neurons to improve SNN accuracy, while under a unified temporally-forward trace-based framework to mitigate the huge memory requirement for storing neural states of all time-steps in the forward pass. Characteristically, the spatially-backward neuronal errors and temporally-forward traces propagate orthogonally to and independently of each other, substantially reducing computational overhead. Our STOP algorithm obtained high recognition accuracies of 99.53%, 94.84%, 74.92%, 98.26% and 77.10% on the MNIST, CIFAR-10, CIFAR-100, DVS-Gesture and DVS-CIFAR10 datasets with adequate SNNs of intermediate scales from LeNet-5 to ResNet-18. Compared with other deep SNN training works, our method is more plausible for edge intelligent scenarios where resources are limited but high-accuracy in-situ learning is desired.
• Abstract（参考訳）: 人工知能の主流は、時空間的にスパースなバイナリアクティベーションに基づいた脳誘発スパイキングニューラルネットワーク(SNN)モデルを活用するニューロモルフィックエージェントのような高エネルギー効率エッジコンピューティングパラダイムである。 しかし、効率的で高精度なSNN学習アルゴリズムの欠如は、厳密な制約付きコストで、実用的なエッジデプロイメントを妨げている。 本稿では,この課題に対処するための時空間直交伝搬(STOP)アルゴリズムを提案する。 我々のアルゴリズムは、シナプス重みの完全なシナプス学習と、スパイキングニューロンの発射しきい値と漏れ要因の完全なシナプス学習を可能にし、SNNの精度を向上させるとともに、前列の全ての時間ステップのニューラルステートを記憶するための巨大なメモリ要求を緩和するための時間的にフォワードなトレーサベース・フレームワークの下で、SNNの精度を向上させる。 特筆すべきは、空間的に後ろ向きの神経の誤りと時間的に前方のトレースが互いに直交し、互いに独立して伝播し、計算オーバーヘッドを大幅に減少させることである。 我々のSTOPアルゴリズムはMNIST, CIFAR-10, CIFAR-100, DVS-Gesture, DVS-CIFAR10データセットで99.53%, 94.84%, 74.92%, 98.26%, 77.10%の認識精度を得た。 他の深層SNNトレーニングと比較すると,リソースが制限されているが高精度なインサイト学習が望まれるエッジインテリジェントなシナリオに対して,本手法はより妥当である。

関連論文リスト

• FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
  Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する 本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。 さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
  論文  参考訳（メタデータ） (2024-03-27T09:25:20Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
  本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。 教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。 この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T09:56:02Z)
• Ultra-low Latency Adaptive Local Binary Spiking Neural Network with Accuracy Loss Estimator [4.554628904670269]
  精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。 実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-31T09:03:57Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Advancing Residual Learning towards Powerful Deep Spiking Neural Networks [16.559670769601038]
  残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。 MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。 MS-ResNet 104はImageNetで76.02%の精度を達成した。
  論文  参考訳（メタデータ） (2021-12-15T05:47:21Z)
• Advancing Deep Residual Learning by Solving the Crux of Degradation in Spiking Neural Networks [21.26300397341615]
  残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。 本稿では,SNNの深度を大幅に拡張できる新しい残差ブロックを提案する。
  論文  参考訳（メタデータ） (2021-12-09T06:29:00Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。