論文の概要: Event-based backpropagation on the neuromorphic platform SpiNNaker2

• arxiv url: http://arxiv.org/abs/2412.15021v3
• Date: Tue, 28 Jan 2025 19:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:51:47.731984
• Title: Event-based backpropagation on the neuromorphic platform SpiNNaker2
• Title（参考訳）: ニューロモルフィックプラットフォームSpiNNaker2のイベントベースバックプロパゲーション
• Authors: Gabriel Béna, Timo Wunderlich, Mahmoud Akl, Bernhard Vogginger, Christian Mayr, Hector Andres Gonzales,
• Abstract要約: EventPropはスパイクニューラルネットワーク(SNN)におけるイベントベースのバックプロパゲーションのためのアルゴリズム 本実装では, 微分方程式とその共役の離散バージョンを用いて, 漏洩した積分・発火ニューロンの多層ネットワークを計算した。 我々は,Yin Yangデータセットを用いたSNNのバッチ並列化オンチップトレーニングの概念実証を行った。
• 参考スコア（独自算出の注目度）: 1.0597501054401728
• License:
• Abstract: Neuromorphic computing aims to replicate the brain's capabilities for energy efficient and parallel information processing, promising a solution to the increasing demand for faster and more efficient computational systems. Efficient training of neural networks on neuromorphic hardware requires the development of training algorithms that retain the sparsity of spike-based communication during training. Here, we report on the first implementation of event-based backpropagation on the SpiNNaker2 neuromorphic hardware platform. We use EventProp, an algorithm for event-based backpropagation in spiking neural networks (SNNs), to compute exact gradients using sparse communication of error signals between neurons. Our implementation computes multi-layer networks of leaky integrate-and-fire neurons using discretized versions of the differential equations and their adjoints, and uses event packets to transmit spikes and error signals between network layers. We demonstrate a proof-of-concept of batch-parallelized, on-chip training of SNNs using the Yin Yang dataset, and provide an off-chip implementation for efficient prototyping, hyper-parameter search, and hybrid training methods.
• Abstract（参考訳）: ニューロモルフィックコンピューティングは、エネルギー効率と並列情報処理のための脳の能力を再現することを目的としており、より高速で効率的な計算システムに対する需要の増加に対する解決策を約束している。 ニューラルネットワークのニューロモルフィックハードウェアでの効率的なトレーニングには、トレーニング中にスパイクベースのコミュニケーションの空間性を保持するトレーニングアルゴリズムの開発が必要である。 本稿では,SpiNNaker2ニューロモルフィックハードウェアプラットフォーム上でのイベントベースのバックプロパゲーションの実装について報告する。 スパイクニューラルネットワーク(SNN)における事象ベースのバックプロパゲーションのアルゴリズムであるEventPropを用いて、ニューロン間のエラー信号の疎通信を用いて正確な勾配を計算する。 本実装では, 差動方程式とその隣接部を離散化したバージョンを用いて, 漏洩した集積・発火ニューロンの多層ネットワークを計算し, イベントパケットを用いてネットワーク層間のスパイクとエラー信号を送信する。 本稿では,Yin Yangデータセットを用いたSNNのバッチ並列化オンチップトレーニングの実証と,効率的なプロトタイピング,ハイパーパラメータ探索,ハイブリッドトレーニングのためのオフチップ実装を提案する。

関連論文リスト

• SparseProp: Efficient Event-Based Simulation and Training of Sparse Recurrent Spiking Neural Networks [4.532517021515834]
  Spiking Neural Networks(SNN)は、生物学的にインスパイアされたモデルであり、アクションポテンシャルのストリームで情報を処理できる。 SparsePropはスパースSNNをシミュレートし、訓練するための新しいイベントベースアルゴリズムである。
  論文  参考訳（メタデータ） (2023-12-28T18:48:10Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。 本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。 我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
  論文  参考訳（メタデータ） (2022-11-10T08:32:13Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Partitioning sparse deep neural networks for scalable training and inference [8.282177703075453]
  最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。 スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。 その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
  論文  参考訳（メタデータ） (2021-04-23T20:05:52Z)
• Event-Based Backpropagation can compute Exact Gradients for Spiking Neural Networks [0.0]
  スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。 この研究は、連続時間スパイクニューラルネットワークと一般損失関数のバックプロパゲーションアルゴリズムを初めて導いた。 EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。
  論文  参考訳（メタデータ） (2020-09-17T15:45:00Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。