論文の概要: Spike Accumulation Forwarding for Effective Training of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2310.02772v6
• Date: Fri, 28 Jun 2024 11:33:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 22:04:23.554475
• Title: Spike Accumulation Forwarding for Effective Training of Spiking Neural Networks
• Title（参考訳）: スパイキングニューラルネットワークの効果的なトレーニングのためのスパイク累積フォワード
• Authors: Ryuji Saiin, Tomoya Shirakawa, Sota Yoshihara, Yoshihide Sawada, Hiroyuki Kusumoto,
• Abstract要約: スパイキングニューラルネットワーク(SNN)はエネルギー効率が高いが、訓練が難しいことが知られている。 オンライン・トレーニング・アズ・タイム(OTTT)は、メモリコストを抑えながら各タイムステップで推論できる方法である。 スパイキングニューラルネットワーク(SNN)、スパイク累積フォワード(SAF)のトレーニングのための新しいパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 0.6699222582814233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this article, we propose a new paradigm for training spiking neural networks (SNNs), spike accumulation forwarding (SAF). It is known that SNNs are energy-efficient but difficult to train. Consequently, many researchers have proposed various methods to solve this problem, among which online training through time (OTTT) is a method that allows inferring at each time step while suppressing the memory cost. However, to compute efficiently on GPUs, OTTT requires operations with spike trains and weighted summation of spike trains during forwarding. In addition, OTTT has shown a relationship with the Spike Representation, an alternative training method, though theoretical agreement with Spike Representation has yet to be proven. Our proposed method can solve these problems; namely, SAF can halve the number of operations during the forward process, and it can be theoretically proven that SAF is consistent with the Spike Representation and OTTT, respectively. Furthermore, we confirmed the above contents through experiments and showed that it is possible to reduce memory and training time while maintaining accuracy.
• Abstract（参考訳）: 本稿では、スパイキングニューラルネットワーク(SNN)、スパイク累積フォワード(SAF)をトレーニングするための新しいパラダイムを提案する。 SNNはエネルギー効率が高いが、訓練が難しいことが知られている。 その結果、多くの研究者がこの問題を解決するための様々な方法を提案しており、そのうちの1つは、時間によるオンライントレーニング(OTTT)が、メモリコストを抑えながら、各ステップで推論できる方法である。 しかし、GPU上で効率よく計算するためには、OTTTはスパイク列車とフォワード中のスパイク列車の重み付け総和で操作する必要がある。 さらにOTTTは、スパイク表現(Spike Representation)との理論的合意はまだ証明されていないが、代替の訓練方法であるスパイク表現(Spike Representation)との関係を示した。 提案手法は,SAFが前処理中の操作数を半減し,SAFがSpike RepresentationとOTTTと整合性があることを理論的に証明できる。 さらに,実験によりこれらの内容を確認し,精度を維持しつつ,記憶時間やトレーニング時間を短縮できることを示した。

関連論文リスト

• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Direct Training via Backpropagation for Ultra-low Latency Spiking Neural Networks with Multi-threshold [3.286515597773624]
  スパイキングニューラルネットワーク(SNN)は、時間的情報を活用することができ、エネルギー効率の性質を持つ。 マルチスレッドモデルを用いた超低レイテンシ(1-2タイムスレッショルド)SNNのためのバックプロパゲーション(BP)に基づく新しいトレーニング手法を提案する。 提案手法は, MNIST, FashionMNIST, CIFAR10の平均精度が99.56%, 93.08%, 87.90%であり, それぞれ2段階のみである。
  論文  参考訳（メタデータ） (2021-11-25T07:04:28Z)
• Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
  トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。 本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
  論文  参考訳（メタデータ） (2020-03-06T03:11:52Z)
• Regularized Evolutionary Population-Based Training [11.624954122221562]
  本稿では、DNNの重みのトレーニングと損失関数のメタラーニングをインターリーブするEPBT(Population-Based Training)アルゴリズムを提案する。 EPBTは画像分類ベンチマークを高速かつ正確に学習する。
  論文  参考訳（メタデータ） (2020-02-11T06:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。