論文の概要: EqSpike: Spike-driven Equilibrium Propagation for Neuromorphic
Implementations
- arxiv url: http://arxiv.org/abs/2010.07859v3
- Date: Wed, 17 Feb 2021 14:48:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 03:34:03.227444
- Title: EqSpike: Spike-driven Equilibrium Propagation for Neuromorphic
Implementations
- Title(参考訳): eqspike:神経形態形成のためのスパイク駆動平衡伝播
- Authors: Erwann Martin, Maxence Ernoult, J\'er\'emie Laydevant, Shuai Li,
Damien Querlioz, Teodora Petrisor, Julie Grollier
- Abstract要約: 我々は、ニューロモルフィックシステムと互換性のあるEqSpikeと呼ばれるスパイクニューラルネットワークアルゴリズムを開発した。
シリコンニューロモルフィック技術に実装されたEqSpikeは,それぞれ推論とトレーニングのエネルギー消費を削減できることを示した。
- 参考スコア(独自算出の注目度): 9.952561670370804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finding spike-based learning algorithms that can be implemented within the
local constraints of neuromorphic systems, while achieving high accuracy,
remains a formidable challenge. Equilibrium Propagation is a promising
alternative to backpropagation as it only involves local computations, but
hardware-oriented studies have so far focused on rate-based networks. In this
work, we develop a spiking neural network algorithm called EqSpike, compatible
with neuromorphic systems, which learns by Equilibrium Propagation. Through
simulations, we obtain a test recognition accuracy of 97.6% on MNIST, similar
to rate-based Equilibrium Propagation, and comparing favourably to alternative
learning techniques for spiking neural networks. We show that EqSpike
implemented in silicon neuromorphic technology could reduce the energy
consumption of inference and training respectively by three orders and two
orders of magnitude compared to GPUs. Finally, we also show that during
learning, EqSpike weight updates exhibit a form of Spike Timing Dependent
Plasticity, highlighting a possible connection with biology.
- Abstract(参考訳): ニューロモルフィックシステムの局所的な制約の中で実装できるスパイクベースの学習アルゴリズムを見つけることは、高い精度を達成しつつも、非常に難しい課題である。
平衡伝播は、局所的な計算のみを含むので、バックプロパゲーションに代わる有望な方法であるが、ハードウェア指向の研究は、これまでレートベースのネットワークに焦点を当ててきた。
本研究では、Equilibrium Propagationによって学習されたニューロモルフィックシステムと互換性のある、EqSpikeと呼ばれるスパイキングニューラルネットワークアルゴリズムを開発する。
シミュレーションにより、MNISTで97.6%の検定精度が得られ、これはレートベースの平衡伝播と似ており、ニューラルネットワークをスパイクするための代替学習技術と好適に比較できる。
シリコンニューロモルフィック技術で実装されたEqSpikeは、GPUと比較して、推論とトレーニングのエネルギー消費をそれぞれ3桁と2桁に削減できることを示した。
最後に、学習中にEqSpikeの重み付けがSpike Timing Dependent Plasticity(スパイクタイミング依存プラスチック)の形を示し、生物学との結びつきを浮き彫りにする。
関連論文リスト
- Neuromorphic Auditory Perception by Neural Spiketrum [27.871072042280712]
本研究では、時間変化のアナログ信号を効率的なスパイクパターンに変換するために、スパイク時相と呼ばれるニューラルスパイク符号化モデルを導入する。
このモデルは、様々な聴覚知覚タスクにおいて、スパイクニューラルネットワークのトレーニングを容易にする、正確に制御可能なスパイクレートを備えたスパースで効率的な符号化スキームを提供する。
論文 参考訳(メタデータ) (2023-09-11T13:06:19Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳(メタデータ) (2023-02-01T04:22:59Z) - ETLP: Event-based Three-factor Local Plasticity for online learning with
neuromorphic hardware [105.54048699217668]
イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。
また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
論文 参考訳(メタデータ) (2023-01-19T19:45:42Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳(メタデータ) (2022-11-29T13:32:38Z) - Bayesian Continual Learning via Spiking Neural Networks [38.518936229794214]
我々は,学習課題の変更に適応可能なニューロモルフィックシステムの設計に向けて一歩踏み出した。
ベイズ連続学習フレームワーク内のニューラルネットワーク(SNN)をスパイクするためのオンライン学習ルールを導出する。
実数値と二値のシナプス重みに対する提案手法のインスタンス化を行う。
論文 参考訳(メタデータ) (2022-08-29T17:11:14Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。
GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。
生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2021-04-23T13:50:30Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - Structural plasticity on an accelerated analog neuromorphic hardware
system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。
我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。
ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文 参考訳(メタデータ) (2019-12-27T10:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。