論文の概要: EqSpike: Spike-driven Equilibrium Propagation for Neuromorphic Implementations

• arxiv url: http://arxiv.org/abs/2010.07859v3
• Date: Wed, 17 Feb 2021 14:48:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 03:34:03.227444
• Title: EqSpike: Spike-driven Equilibrium Propagation for Neuromorphic Implementations
• Title（参考訳）: eqspike:神経形態形成のためのスパイク駆動平衡伝播
• Authors: Erwann Martin, Maxence Ernoult, J\'er\'emie Laydevant, Shuai Li, Damien Querlioz, Teodora Petrisor, Julie Grollier
• Abstract要約: 我々は、ニューロモルフィックシステムと互換性のあるEqSpikeと呼ばれるスパイクニューラルネットワークアルゴリズムを開発した。 シリコンニューロモルフィック技術に実装されたEqSpikeは,それぞれ推論とトレーニングのエネルギー消費を削減できることを示した。
• 参考スコア（独自算出の注目度）: 9.952561670370804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finding spike-based learning algorithms that can be implemented within the local constraints of neuromorphic systems, while achieving high accuracy, remains a formidable challenge. Equilibrium Propagation is a promising alternative to backpropagation as it only involves local computations, but hardware-oriented studies have so far focused on rate-based networks. In this work, we develop a spiking neural network algorithm called EqSpike, compatible with neuromorphic systems, which learns by Equilibrium Propagation. Through simulations, we obtain a test recognition accuracy of 97.6% on MNIST, similar to rate-based Equilibrium Propagation, and comparing favourably to alternative learning techniques for spiking neural networks. We show that EqSpike implemented in silicon neuromorphic technology could reduce the energy consumption of inference and training respectively by three orders and two orders of magnitude compared to GPUs. Finally, we also show that during learning, EqSpike weight updates exhibit a form of Spike Timing Dependent Plasticity, highlighting a possible connection with biology.
• Abstract（参考訳）: ニューロモルフィックシステムの局所的な制約の中で実装できるスパイクベースの学習アルゴリズムを見つけることは、高い精度を達成しつつも、非常に難しい課題である。 平衡伝播は、局所的な計算のみを含むので、バックプロパゲーションに代わる有望な方法であるが、ハードウェア指向の研究は、これまでレートベースのネットワークに焦点を当ててきた。 本研究では、Equilibrium Propagationによって学習されたニューロモルフィックシステムと互換性のある、EqSpikeと呼ばれるスパイキングニューラルネットワークアルゴリズムを開発する。 シミュレーションにより、MNISTで97.6%の検定精度が得られ、これはレートベースの平衡伝播と似ており、ニューラルネットワークをスパイクするための代替学習技術と好適に比較できる。 シリコンニューロモルフィック技術で実装されたEqSpikeは、GPUと比較して、推論とトレーニングのエネルギー消費をそれぞれ3桁と2桁に削減できることを示した。 最後に、学習中にEqSpikeの重み付けがSpike Timing Dependent Plasticity(スパイクタイミング依存プラスチック)の形を示し、生物学との結びつきを浮き彫りにする。

関連論文リスト

• Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
  スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。 SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。 この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。 本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
  論文  参考訳（メタデータ） (2024-11-11T15:20:54Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
  本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。 適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
  論文  参考訳（メタデータ） (2024-08-14T12:49:58Z)
• Neuromorphic Auditory Perception by Neural Spiketrum [27.871072042280712]
  本研究では、時間変化のアナログ信号を効率的なスパイクパターンに変換するために、スパイク時相と呼ばれるニューラルスパイク符号化モデルを導入する。 このモデルは、様々な聴覚知覚タスクにおいて、スパイクニューラルネットワークのトレーニングを容易にする、正確に制御可能なスパイクレートを備えたスパースで効率的な符号化スキームを提供する。
  論文  参考訳（メタデータ） (2023-09-11T13:06:19Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• ETLP: Event-based Three-factor Local Plasticity for online learning with neuromorphic hardware [105.54048699217668]
  イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。 また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
  論文  参考訳（メタデータ） (2023-01-19T19:45:42Z)
• Bayesian Continual Learning via Spiking Neural Networks [38.518936229794214]
  我々は,学習課題の変更に適応可能なニューロモルフィックシステムの設計に向けて一歩踏み出した。 ベイズ連続学習フレームワーク内のニューラルネットワーク(SNN)をスパイクするためのオンライン学習ルールを導出する。 実数値と二値のシナプス重みに対する提案手法のインスタンス化を行う。
  論文  参考訳（メタデータ） (2022-08-29T17:11:14Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Structural plasticity on an accelerated analog neuromorphic hardware system [0.46180371154032884]
  我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。 我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。 ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
  論文  参考訳（メタデータ） (2019-12-27T10:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。