論文の概要: S-TLLR: STDP-inspired Temporal Local Learning Rule for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2306.15220v4
• Date: Tue, 29 Oct 2024 16:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:37:58.968233
• Title: S-TLLR: STDP-inspired Temporal Local Learning Rule for Spiking Neural Networks
• Title（参考訳）: S-TLLR:STDPにインスパイアされたスパイクニューラルネットワークのための時間的局所学習規則
• Authors: Marco Paul E. Apolinario, Kaushik Roy,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は生物学的に妥当なモデルであり、エッジにエネルギー効率の良いインテリジェンスをデプロイするための候補として特定されている。 本稿では,S-TLLRを提案する。S-TLLRはスパイク・タイミング依存塑性(STDP)機構にインスパイアされた新しい3要素時間的局所学習法である。 S-TLLRは、メモリと時間の複雑さが低く、時間ステップの数に依存しないように設計されており、低消費電力エッジデバイス上でのオンライン学習に適している。
• 参考スコア（独自算出の注目度）: 7.573297026523597
• License:
• Abstract: Spiking Neural Networks (SNNs) are biologically plausible models that have been identified as potentially apt for deploying energy-efficient intelligence at the edge, particularly for sequential learning tasks. However, training of SNNs poses significant challenges due to the necessity for precise temporal and spatial credit assignment. Back-propagation through time (BPTT) algorithm, whilst the most widely used method for addressing these issues, incurs high computational cost due to its temporal dependency. In this work, we propose S-TLLR, a novel three-factor temporal local learning rule inspired by the Spike-Timing Dependent Plasticity (STDP) mechanism, aimed at training deep SNNs on event-based learning tasks. Furthermore, S-TLLR is designed to have low memory and time complexities, which are independent of the number of time steps, rendering it suitable for online learning on low-power edge devices. To demonstrate the scalability of our proposed method, we have conducted extensive evaluations on event-based datasets spanning a wide range of applications, such as image and gesture recognition, audio classification, and optical flow estimation. In all the experiments, S-TLLR achieved high accuracy, comparable to BPTT, with a reduction in memory between $5-50\times$ and multiply-accumulate (MAC) operations between $1.3-6.6\times$.
• Abstract（参考訳）: スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、特にシーケンシャルな学習タスクにおいて、エッジにエネルギー効率の高いインテリジェンスをデプロイする可能性があると認識された、生物学的に妥当なモデルである。 しかし、SNNの訓練は、正確な時間的および空間的信用割当を必要とするため、重大な課題を生んでいる。 時間によるバックプロパゲーション (BPTT) アルゴリズムはこれらの問題に対処する最も広く使われている手法であるが、時間的依存のため高い計算コストが生じる。 本研究では,S-TLLRを提案する。S-TLLRは,Spyke-Timing Dependent Plasticity (STDP) メカニズムにインスパイアされた,イベントベースの学習タスクにおける深部SNNのトレーニングを目的とした,3段階の時間的局所学習ルールである。 さらに、S-TLLRは、時間ステップの数によらず、低消費電力エッジデバイス上でのオンライン学習に適したメモリと時間の複雑さを持つように設計されている。 提案手法のスケーラビリティを実証するために,画像やジェスチャー認識,音声分類,光フロー推定など,幅広い用途にまたがるイベントベースデータセットについて広範な評価を行った。 全ての実験において、S-TLLRはBPTTに匹敵する高い精度を達成し、メモリは5-50\times$と1.3-6.6\times$の乗算累積(MAC)演算を減らした。

関連論文リスト

• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• LLS: Local Learning Rule for Deep Neural Networks Inspired by Neural Activity Synchronization [6.738409533239947]
  従来のバックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、計算複雑性とエネルギー消費の観点からの課題を提示している。 脳内で観察される神経活動同期現象(LLS)にインスパイアされた新しい局所学習規則を提案する。 LLSは、最大300倍の乗算累積(MAC)演算を減らし、BPのメモリ要求の半分で同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-24T18:24:24Z)
• Estimating Post-Synaptic Effects for Online Training of Feed-Forward SNNs [0.27016900604393124]
  スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。 本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。 本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
  論文  参考訳（メタデータ） (2023-11-07T16:53:39Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
  深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。 これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。 本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
  論文  参考訳（メタデータ） (2022-02-15T06:42:25Z)
• Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training [18.521882534906972]
  我々は,同じ物理ニューロンの集合をバッチ内にドロップアウトし,列(ロー)レベルの隠された状態空間を作り出すことにより,ドロップアウトパターンを構築することを提案する。 PTBデータセットに基づく言語モデリング、IWSLT De-EnデータセットとEn-Viデータセットを用いたOpenNMTベースの機械翻訳、エンティティ認識シーケンスラベリングの3つの代表的なNLPタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-22T22:44:32Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。