論文の概要: Event-Driven Learning for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2403.00270v1
- Date: Fri, 1 Mar 2024 04:17:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 18:16:06.456272
- Title: Event-Driven Learning for Spiking Neural Networks
- Title(参考訳): スパイクニューラルネットワークのためのイベント駆動学習
- Authors: Wenjie Wei, Malu Zhang, Jilin Zhang, Ammar Belatreche, Jibin Wu,
Zijing Xu, Xuerui Qiu, Hong Chen, Yang Yang, Haizhou Li
- Abstract要約: 脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの分野で注目されている。
バックプロパゲーション学習コストを最小限に抑えるために、SNNのスパースイベント駆動プロパティから効果的に利益を得るには、依然としてオープンな課題である。
本稿では,スパイクタイミング依存イベント駆動(STD-ED)アルゴリズムと膜電位依存イベント駆動(MPD-ED)アルゴリズムの2つの新しい学習手法を紹介する。
- 参考スコア(独自算出の注目度): 43.17286932151372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Brain-inspired spiking neural networks (SNNs) have gained prominence in the
field of neuromorphic computing owing to their low energy consumption during
feedforward inference on neuromorphic hardware. However, it remains an open
challenge how to effectively benefit from the sparse event-driven property of
SNNs to minimize backpropagation learning costs. In this paper, we conduct a
comprehensive examination of the existing event-driven learning algorithms,
reveal their limitations, and propose novel solutions to overcome them.
Specifically, we introduce two novel event-driven learning methods: the
spike-timing-dependent event-driven (STD-ED) and membrane-potential-dependent
event-driven (MPD-ED) algorithms. These proposed algorithms leverage precise
neuronal spike timing and membrane potential, respectively, for effective
learning. The two methods are extensively evaluated on static and neuromorphic
datasets to confirm their superior performance. They outperform existing
event-driven counterparts by up to 2.51% for STD-ED and 6.79% for MPD-ED on the
CIFAR-100 dataset. In addition, we theoretically and experimentally validate
the energy efficiency of our methods on neuromorphic hardware. On-chip learning
experiments achieved a remarkable 30-fold reduction in energy consumption over
time-step-based surrogate gradient methods. The demonstrated efficiency and
efficacy of the proposed event-driven learning methods emphasize their
potential to significantly advance the fields of neuromorphic computing,
offering promising avenues for energy-efficiency applications.
- Abstract(参考訳): 脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアのフィードフォワード推論中に低エネルギー消費のため、ニューロモルフィックコンピューティングの分野で注目されている。
しかし、バックプロパゲーション学習コストを最小限に抑えるために、SNNのスパースなイベント駆動特性を効果的に活用する方法は、依然としてオープンな課題である。
本稿では,既存のイベント駆動学習アルゴリズムの包括的検証を行い,その限界を明らかにし,その克服のための新しい解を提案する。
具体的には、スパイクタイミング依存イベント駆動(STD-ED)と膜電位依存イベント駆動(MPD-ED)の2つの新しい学習手法を紹介する。
これらのアルゴリズムは、それぞれ正確な神経スパイクタイミングと膜電位を有効学習に活用する。
2つの手法は静的データセットとニューロモルフィックデータセット上で広範囲に評価され、その優れた性能を確認している。
std-edでは最大2.51%、cifar-100データセットではmpd-edでは6.79%となっている。
さらに,本手法のニューロモルフィックハードウェアにおけるエネルギー効率を理論的,実験的に検証した。
オンチップ学習実験は、時間ステップベースの代理勾配法よりも30倍のエネルギー消費削減を実現した。
提案したイベント駆動学習手法の有効性と有効性は、ニューロモルフィックコンピューティングの分野を著しく進歩させる可能性を強調し、エネルギー効率の応用に期待できる道を提供する。
関連論文リスト
- FPGA Deployment of LFADS for Real-time Neuroscience Experiments [2.1110034280282153]
LFADS(Latent Factor Analysis via Dynamical Systems)は、1回の試験で同時に記録された高次元神経スパイデータから潜時ダイナミクスを推定するためのディープラーニング手法である。
本研究では,LFADSモデルをFPGA(Field Programmable Gate Arrays)に実装する。
我々の実装では、Xilinx U55Cで1回の試行でデータを処理するために41.97$mu$sの推論遅延を示す。
論文 参考訳(メタデータ) (2024-02-02T07:52:20Z) - Accelerating Neural Network Training: A Brief Review [0.5825410941577593]
本研究では,ディープニューラルネットワーク(DNN)の学習過程を高速化するための革新的なアプローチについて検討する。
この研究は、グラディエント累積(GA)、自動混合精度(AMP)、ピンメモリ(PM)などの高度な手法を利用する。
論文 参考訳(メタデータ) (2023-12-15T18:43:45Z) - Towards On-device Learning on the Edge: Ways to Select Neurons to Update
under a Budget Constraint [8.580120233841344]
本稿では,従来の知恵に挑戦し,優れたサブネットワークの存在を明らかにする一連の実験を提案する。
我々は,目標タスクを微調整する際の動的ニューロン選択戦略を通じて,実質的な利得の可能性について示唆する。
実験では、平均の場合、ランダム選択よりもNEqにインスパイアされたアプローチの方が優れていることを示した。
論文 参考訳(メタデータ) (2023-12-08T10:40:39Z) - Evaluating Spiking Neural Network On Neuromorphic Platform For Human
Activity Recognition [2.710807780228189]
エネルギー効率と低レイテンシは、ウェアラブルAIを活用した人間の活動認識システムにとって重要な要件である。
スパイクベースのワークアウト認識システムは、従来のニューラルネットワークを備えた一般的なミリワットRISC-VベースマルチコアプロセッサGAP8に匹敵する精度を達成することができる。
論文 参考訳(メタデータ) (2023-08-01T18:59:06Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳(メタデータ) (2023-02-01T04:22:59Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with
Continual and Unsupervised Learning Capabilities in Dynamic Environments [14.727296040550392]
スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。
動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
論文 参考訳(メタデータ) (2021-02-28T08:26:23Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳(メタデータ) (2020-05-02T06:41:20Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。