論文の概要: Supervised training of spiking neural networks for robust deployment on
mixed-signal neuromorphic processors
- arxiv url: http://arxiv.org/abs/2102.06408v1
- Date: Fri, 12 Feb 2021 09:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-15 13:06:41.965773
- Title: Supervised training of spiking neural networks for robust deployment on
mixed-signal neuromorphic processors
- Title(参考訳): 混合信号ニューロモルフィックプロセッサのロバスト展開のためのスパイクニューラルネットワークのトレーニング
- Authors: Julian B\"uchel, Dmitrii Zendrikov, Sergio Solinas, Giacomo Indiveri,
Dylan R. Muir
- Abstract要約: 混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。
ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。
ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
- 参考スコア(独自算出の注目度): 2.6949002029513167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixed-signal analog/digital electronic circuits can emulate spiking neurons
and synapses with extremely high energy efficiency, following an approach known
as "neuromorphic engineering". However, analog circuits are sensitive to
variation in fabrication among transistors in a chip ("device mismatch"). In
the case of neuromorphic implementation of Spiking Neural Networks (SNNs),
mismatch is expressed as differences in effective parameters between
identically-configured neurons and synapses. Each fabricated chip therefore
provides a different distribution of parameters such as time constants or
synaptic weights. Without the expensive overhead in terms of area and power of
extra on-chip learning or calibration circuits, device mismatch and other noise
sources represent a critical challenge for the deployment of pre-trained neural
network chips. Here we present a supervised learning approach that addresses
this challenge by maximizing robustness to mismatch and other common sources of
noise.
The proposed method trains (SNNs) to perform temporal classification tasks by
mimicking a pre-trained dynamical system, using a local learning rule adapted
from non-linear control theory. We demonstrate the functionality of our model
on two tasks that require memory to perform successfully, and measure the
robustness of our approach to several forms of noise and variability present in
the network. We show that our approach is more robust than several common
alternative approaches for training SNNs.
Our method provides a viable way to robustly deploy pre-trained networks on
mixed-signal neuromorphic hardware, without requiring per-device training or
calibration.
- Abstract(参考訳): 混合信号アナログ/デジタル電子回路は「神経工学」として知られるアプローチに従って、スパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。
しかし、アナログ回路はチップ内のトランジスタ間の製造のばらつきに敏感である("device mismatch")。
スパイキングニューラルネットワーク(SNN)の神経形態実装の場合、ミスマッチは同一構成ニューロンとシナプス間の効果的なパラメータの違いとして表現される。
したがって、各製造チップは時間定数やシナプス重みなどのパラメータの異なる分布を提供する。
追加のオンチップ学習またはキャリブレーション回路の領域と電力の高価なオーバーヘッドがなければ、デバイスミスマッチおよびその他のノイズソースは、事前に訓練されたニューラルネットワークチップの展開にとって重要な課題です。
ここでは、ミスマッチやその他の一般的なノイズ源に対する堅牢性を最大化することで、この課題に対処する教師付き学習アプローチを紹介します。
提案手法は,非線形制御理論から適応した局所学習則を用いて,事前学習した力学系を模倣して時間的分類タスクを実行する。
我々は,メモリの動作を成功させる2つのタスクにおいて,モデルの有効性を実証し,ネットワーク内に存在する様々なノイズや変動性に対する我々のアプローチの頑健さを計測する。
我々のアプローチは、SNNのトレーニングのためのいくつかの一般的な代替アプローチよりも堅牢であることを示す。
本手法は, デバイスごとのトレーニングや校正を必要とせず, 混合信号のニューロモルフィックハードウェア上で, トレーニング済みネットワークを堅牢に展開する方法を提供する。
関連論文リスト
- Neuromorphic analog circuits for robust on-chip always-on learning in
spiking neural networks [1.9809266426888898]
混合信号ニューロモルフィックシステムは、極端コンピューティングタスクを解決するための有望なソリューションである。
彼らのスパイクニューラルネットワーク回路は、連続的にセンサーデータをオンラインに処理するために最適化されている。
我々は,短期的アナログ力学と長期的三状態離散化機構を備えたオンチップ学習回路を設計する。
論文 参考訳(メタデータ) (2023-07-12T11:14:25Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Gradient-descent hardware-aware training and deployment for mixed-signal
Neuromorphic processors [2.812395851874055]
混合信号ニューロモルフィックプロセッサはエッジ推論ワークロードに対して極めて低消費電力な演算を提供する。
我々は、混合信号型ニューロモルフィックプロセッサDYNAP-SE2へのスパイキングニューラルネットワーク(SNN)の訓練と展開のための新しい手法を実証する。
論文 参考訳(メタデータ) (2023-03-14T08:56:54Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。
ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。
我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
論文 参考訳(メタデータ) (2022-01-31T17:41:36Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - An error-propagation spiking neural network compatible with neuromorphic
processors [2.432141667343098]
本稿では,局所的な重み更新機構を用いたバックプロパゲーションを近似したスパイクに基づく学習手法を提案する。
本稿では,重み更新機構による誤り信号のバックプロパゲートを可能にするネットワークアーキテクチャを提案する。
この研究は、超低消費電力混合信号ニューロモルフィック処理系の設計に向けた第一歩である。
論文 参考訳(メタデータ) (2021-04-12T07:21:08Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳(メタデータ) (2021-02-20T23:26:58Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Inference with Artificial Neural Networks on Analog Neuromorphic
Hardware [0.0]
BrainScaleS-2 ASICは混合信号ニューロンとシナプス回路から構成される。
システムは、人工ニューラルネットワークのベクトル行列乗算と累積モードでも動作する。
論文 参考訳(メタデータ) (2020-06-23T17:25:06Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳(メタデータ) (2020-06-02T23:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。