論文の概要: EchoSpike Predictive Plasticity: An Online Local Learning Rule for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2405.13976v2
- Date: Sun, 26 May 2024 15:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 03:08:56.472505
- Title: EchoSpike Predictive Plasticity: An Online Local Learning Rule for Spiking Neural Networks
- Title（参考訳）: EchoSpikeの予測塑性: ニューラルネットワークをスパイクするためのオンラインローカル学習ルール
- Authors: Lars Graf, Zhe Su, Giacomo Indiveri,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、低電力とメモリを必要とするアプリケーションにおいて、その可能性のために魅力的である。
EchoSpike Predictive Plasticity(ESPP)学習ルールは,オンライン学習ルールのパイオニアである。
ESPPは、エッジでのニューロモルフィックコンピューティングのための生物学的に妥当な自己教師付き学習モデルの開発において、大きな進歩を示している。
- 参考スコア（独自算出の注目度）: 4.644628459389789
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The drive to develop artificial neural networks that efficiently utilize resources has generated significant interest in bio-inspired Spiking Neural Networks (SNNs). These networks are particularly attractive due to their potential in applications requiring low power and memory. This potential is further enhanced by the ability to perform online local learning, enabling them to adapt to dynamic environments. This requires the model to be adaptive in a self-supervised manner. While self-supervised learning has seen great success in many deep learning domains, its application for online local learning in multi-layer SNNs remains underexplored. In this paper, we introduce the "EchoSpike Predictive Plasticity" (ESPP) learning rule, a pioneering online local learning rule designed to leverage hierarchical temporal dynamics in SNNs through predictive and contrastive coding. We validate the effectiveness of this approach using benchmark datasets, demonstrating that it performs on par with current state-of-the-art supervised learning rules. The temporal and spatial locality of ESPP makes it particularly well-suited for low-cost neuromorphic processors, representing a significant advancement in developing biologically plausible self-supervised learning models for neuromorphic computing at the edge.
- Abstract（参考訳）: 資源を効率的に活用する人工ニューラルネットワークの開発は、バイオインスパイアされたスパイキングニューラルネットワーク(SNN)に大きな関心を呼んだ。
これらのネットワークは、低電力とメモリを必要とするアプリケーションにおける可能性のために、特に魅力的である。
このポテンシャルは、オンラインローカル学習の能力によってさらに強化され、動的環境への適応が可能になる。
これは、モデルを自己管理的な方法で適応させる必要がある。
自己教師型学習は多くの深層学習領域で大きな成功を収めてきたが、多層SNNにおけるオンラインローカル学習への応用はいまだ探索されていない。
本稿では,SNNにおける階層的時間的ダイナミクスを予測的かつコントラッシブな符号化を通じて活用するオンライン学習ルールである"EchoSpike Predictive Plasticity"(ESPP)学習ルールを紹介する。
提案手法の有効性をベンチマークデータセットを用いて検証し,現在最先端の教師付き学習ルールと同等の性能を示す。
ESPPの時間的および空間的局所性は、特に低コストのニューロモルフィックプロセッサに適しており、エッジでのニューロモルフィックコンピューティングのための生物学的に妥当な自己教師あり学習モデルの開発において大きな進歩を示している。
関連論文リスト
- Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based
on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。
教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。
この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
論文 参考訳（メタデータ） (2022-11-24T09:56:02Z) - An Unsupervised STDP-based Spiking Neural Network Inspired By
Biologically Plausible Learning Rules and Connections [10.188771327458651]
スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。
我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。
我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-06T14:53:32Z) - Ensemble plasticity and network adaptability in SNNs [0.726437825413781]
人工スパイキングニューラルネットワーク(ASNN)は、離散的なイベントベース(スパイク)計算のため、より優れた情報処理効率を約束する。
本研究では,スパイク活動のみを用いたエントロピーとネットワークアクティベーションに基づく新しいアンサンブル学習手法を提案する。
その結果, スパイクレートの低いニューロンクラスターを刈り取ると, 一般化や性能の低下が予想されることがわかった。
論文 参考訳（メタデータ） (2022-03-11T01:14:51Z) - In-Hardware Learning of Multilayer Spiking Neural Networks on a
Neuromorphic Processor [6.816315761266531]
この研究は、生物学的に妥当な局所更新規則を持つスパイクベースのバックプロパゲーションアルゴリズムを示し、ニューロモルフィックハードウェアの制約に適合するように適応する。
このアルゴリズムはIntel Loihiチップ上に実装されており、モバイルアプリケーション用の多層SNNの低消費電力ハードウェアによるオンライン学習を可能にする。
論文 参考訳（メタデータ） (2021-05-08T09:22:21Z) - Online Spatio-Temporal Learning in Deep Neural Networks [1.6624384368855523]
オンライン学習は、最近研究コミュニティの注目を集め、BPTTを近似するアプローチや、SNNに適用する生物学的に有望なスキームに焦点をあてている。
ここでは、空間的および時間的勾配成分の明確な分離に基づく別の視点を示す。
私たちは、オンラインスパイキング時間学習(OSTL)という、深層SNNのための新しいオンライン学習アルゴリズムの第一原理から派生した。
浅いネットワークの場合、OSTLはBPTTと同等の勾配であり、BPTT同値勾配を持つSNNのオンライントレーニングを初めて行うことができる。さらに、提案された定式化はSNNアーキテクチャのクラスを公開する。
論文 参考訳（メタデータ） (2020-07-24T18:10:18Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。