論文の概要: Event-Driven Learning for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2403.00270v1
• Date: Fri, 1 Mar 2024 04:17:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 18:16:06.456272
• Title: Event-Driven Learning for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークのためのイベント駆動学習
• Authors: Wenjie Wei, Malu Zhang, Jilin Zhang, Ammar Belatreche, Jibin Wu, Zijing Xu, Xuerui Qiu, Hong Chen, Yang Yang, Haizhou Li
• Abstract要約: 脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの分野で注目されている。 バックプロパゲーション学習コストを最小限に抑えるために、SNNのスパースイベント駆動プロパティから効果的に利益を得るには、依然としてオープンな課題である。 本稿では,スパイクタイミング依存イベント駆動(STD-ED)アルゴリズムと膜電位依存イベント駆動(MPD-ED)アルゴリズムの2つの新しい学習手法を紹介する。
• 参考スコア（独自算出の注目度）: 43.17286932151372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain-inspired spiking neural networks (SNNs) have gained prominence in the field of neuromorphic computing owing to their low energy consumption during feedforward inference on neuromorphic hardware. However, it remains an open challenge how to effectively benefit from the sparse event-driven property of SNNs to minimize backpropagation learning costs. In this paper, we conduct a comprehensive examination of the existing event-driven learning algorithms, reveal their limitations, and propose novel solutions to overcome them. Specifically, we introduce two novel event-driven learning methods: the spike-timing-dependent event-driven (STD-ED) and membrane-potential-dependent event-driven (MPD-ED) algorithms. These proposed algorithms leverage precise neuronal spike timing and membrane potential, respectively, for effective learning. The two methods are extensively evaluated on static and neuromorphic datasets to confirm their superior performance. They outperform existing event-driven counterparts by up to 2.51% for STD-ED and 6.79% for MPD-ED on the CIFAR-100 dataset. In addition, we theoretically and experimentally validate the energy efficiency of our methods on neuromorphic hardware. On-chip learning experiments achieved a remarkable 30-fold reduction in energy consumption over time-step-based surrogate gradient methods. The demonstrated efficiency and efficacy of the proposed event-driven learning methods emphasize their potential to significantly advance the fields of neuromorphic computing, offering promising avenues for energy-efficiency applications.
• Abstract（参考訳）: 脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアのフィードフォワード推論中に低エネルギー消費のため、ニューロモルフィックコンピューティングの分野で注目されている。 しかし、バックプロパゲーション学習コストを最小限に抑えるために、SNNのスパースなイベント駆動特性を効果的に活用する方法は、依然としてオープンな課題である。 本稿では,既存のイベント駆動学習アルゴリズムの包括的検証を行い,その限界を明らかにし,その克服のための新しい解を提案する。 具体的には、スパイクタイミング依存イベント駆動(STD-ED)と膜電位依存イベント駆動(MPD-ED)の2つの新しい学習手法を紹介する。 これらのアルゴリズムは、それぞれ正確な神経スパイクタイミングと膜電位を有効学習に活用する。 2つの手法は静的データセットとニューロモルフィックデータセット上で広範囲に評価され、その優れた性能を確認している。 std-edでは最大2.51%、cifar-100データセットではmpd-edでは6.79%となっている。 さらに,本手法のニューロモルフィックハードウェアにおけるエネルギー効率を理論的,実験的に検証した。 オンチップ学習実験は、時間ステップベースの代理勾配法よりも30倍のエネルギー消費削減を実現した。 提案したイベント駆動学習手法の有効性と有効性は、ニューロモルフィックコンピューティングの分野を著しく進歩させる可能性を強調し、エネルギー効率の応用に期待できる道を提供する。

関連論文リスト

• Growing Deep Neural Network Considering with Similarity between Neurons [4.32776344138537]
  我々は、訓練段階におけるコンパクトモデルにおいて、ニューロン数を漸進的に増加させる新しいアプローチを探求する。 本稿では,ニューロン類似性分布に基づく制約を導入することにより,特徴抽出バイアスと神経冗長性を低減する手法を提案する。 CIFAR-10とCIFAR-100データセットの結果、精度が向上した。
  論文  参考訳（メタデータ） (2024-08-23T11:16:37Z)
• Physical formula enhanced multi-task learning for pharmacokinetics prediction [54.13787789006417]
  AIによる薬物発見の大きな課題は、高品質なデータの不足である。 薬物動態の4つの重要なパラメータを同時に予測するPEMAL法を開発した。 実験の結果,PEMALは一般的なグラフニューラルネットワークに比べてデータ需要を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-04-16T07:42:55Z)
• A Neuromorphic Approach to Obstacle Avoidance in Robot Manipulation [16.696524554516294]
  カメラ搭載マニピュレータにおける障害物回避のためのニューロモルフィックアプローチを開発する。 提案手法は, 畳み込みSNNでエミュレートされたイベントデータを処理し, 反応操作による高次軌道計画に適応する。 本研究は,SNN学習の導入,ニューロモルフィックプロセッサの利用,およびニューロモルフィック手法の可能性を探るものである。
  論文  参考訳（メタデータ） (2024-04-08T20:42:10Z)
• Accelerating Neural Network Training: A Brief Review [0.5825410941577593]
  本研究では,ディープニューラルネットワーク(DNN)の学習過程を高速化するための革新的なアプローチについて検討する。 この研究は、グラディエント累積(GA)、自動混合精度(AMP)、ピンメモリ(PM)などの高度な手法を利用する。
  論文  参考訳（メタデータ） (2023-12-15T18:43:45Z)
• Evaluating Spiking Neural Network On Neuromorphic Platform For Human Activity Recognition [2.710807780228189]
  エネルギー効率と低レイテンシは、ウェアラブルAIを活用した人間の活動認識システムにとって重要な要件である。 スパイクベースのワークアウト認識システムは、従来のニューラルネットワークを備えた一般的なミリワットRISC-VベースマルチコアプロセッサGAP8に匹敵する精度を達成することができる。
  論文  参考訳（メタデータ） (2023-08-01T18:59:06Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments [14.727296040550392]
  スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。 動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
  論文  参考訳（メタデータ） (2021-02-28T08:26:23Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。