論文の概要: Training Full Spike Neural Networks via Auxiliary Accumulation Pathway

• arxiv url: http://arxiv.org/abs/2301.11929v1
• Date: Fri, 27 Jan 2023 02:33:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 20:08:42.668815
• Title: Training Full Spike Neural Networks via Auxiliary Accumulation Pathway
• Title（参考訳）: 補助集積経路による完全スパイクニューラルネットワークの訓練
• Authors: Guangyao Chen, Peixi Peng, Guoqi Li, Yonghong Tian
• Abstract要約: スパイキングニューラルネットワーク(SNN)がますます注目を集めている。 フルスパイクニューラルネットワーク(FSNN)の時間ステップが制限されたバイナリスパイク伝播は、重大な情報損失を引き起こす。 本稿では,完全スパイク残差ネットワークに脱着可能な補助蓄積経路 (AAP) を付加するDual-Stream Training (DST) 手法を提案する。
• 参考スコア（独自算出の注目度）: 36.971293004654655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the binary spike signals making converting the traditional high-power multiply-accumulation (MAC) into a low-power accumulation (AC) available, the brain-inspired Spiking Neural Networks (SNNs) are gaining more and more attention. However, the binary spike propagation of the Full-Spike Neural Networks (FSNN) with limited time steps is prone to significant information loss. To improve performance, several state-of-the-art SNN models trained from scratch inevitably bring many non-spike operations. The non-spike operations cause additional computational consumption and may not be deployed on some neuromorphic hardware where only spike operation is allowed. To train a large-scale FSNN with high performance, this paper proposes a novel Dual-Stream Training (DST) method which adds a detachable Auxiliary Accumulation Pathway (AAP) to the full spiking residual networks. The accumulation in AAP could compensate for the information loss during the forward and backward of full spike propagation, and facilitate the training of the FSNN. In the test phase, the AAP could be removed and only the FSNN remained. This not only keeps the lower energy consumption but also makes our model easy to deploy. Moreover, for some cases where the non-spike operations are available, the APP could also be retained in test inference and improve feature discrimination by introducing a little non-spike consumption. Extensive experiments on ImageNet, DVS Gesture, and CIFAR10-DVS datasets demonstrate the effectiveness of DST.
• Abstract（参考訳）: 従来の高出力乗算蓄積(MAC)を低消費電力蓄積(AC)に変換するバイナリスパイク信号により、脳にインスパイアされたスパイキングニューラルネットワーク(SNN)がますます注目を集めている。 しかし、時間ステップが制限されたフルスパイクニューラルネットワーク(FSNN)のバイナリスパイク伝播は、重大な情報損失を引き起こす。 性能を改善するために、スクラッチから訓練されたいくつかの最先端SNNモデルは、必然的に多くの非スパイク操作をもたらす。 非スパイク操作は計算量の増加を引き起こし、スパイク操作のみを許可する神経形態のハードウェアにはデプロイされない。 本稿では,大規模fsnnを高性能に訓練するために,完全スパイク残差ネットワークに脱着可能な補助集積経路(aap)を付加する新しいデュアルストリーム訓練(dst)法を提案する。 AAPの蓄積は、全スパイク伝播の前後における情報損失を補うことができ、FSNNの訓練を容易にすることができる。 テスト段階ではAAPは取り外され、FSNNのみが残った。 これはエネルギー消費を抑えるだけでなく、我々のモデルを展開しやすくする。 さらに、非スパイク操作が利用可能であるケースでは、APPをテスト推論に保持し、少し非スパイク消費を導入することで特徴識別を改善することもできる。 ImageNet、DVS Gesture、CIFAR10-DVSデータセットに関する大規模な実験は、DSTの有効性を示している。

関連論文リスト

• Learning A Spiking Neural Network for Efficient Image Deraining [20.270365030042623]
  ESDNetと呼ばれる効率の良いスパイクレイニングネットワークを提案する。 我々の研究は、雨のピクセル値がSNNのスパイク信号の強度を高めるという観測に動機づけられている。 トレーニングの課題を克服するために,モデルを直接トレーニングするための勾配プロキシ戦略を導入する。
  論文  参考訳（メタデータ） (2024-05-10T07:19:58Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
  ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。 スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。 実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
  論文  参考訳（メタデータ） (2022-09-21T21:17:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks [8.746046482977434]
  DIET-SNNは、膜漏れと発射閾値を最適化するために勾配降下で訓練された低深さスパイクネットワークである。 我々は,VGGおよびResNetアーキテクチャ上のCIFARおよびImageNetデータセットから画像分類タスクのDIET-SNNを評価する。 我々は、ImageNetデータセット上の5つのタイムステップ(推論レイテンシ)でトップ1の精度を69%達成し、同等の標準ANNよりも12倍少ない計算エネルギーを実現した。
  論文  参考訳（メタデータ） (2020-08-09T05:07:17Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。