論文の概要: Supervised training of spiking neural networks for robust deployment on
mixed-signal neuromorphic processors
- arxiv url: http://arxiv.org/abs/2102.06408v1
- Date: Fri, 12 Feb 2021 09:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-15 13:06:41.965773
- Title: Supervised training of spiking neural networks for robust deployment on
mixed-signal neuromorphic processors
- Title（参考訳）: 混合信号ニューロモルフィックプロセッサのロバスト展開のためのスパイクニューラルネットワークのトレーニング
- Authors: Julian B\"uchel, Dmitrii Zendrikov, Sergio Solinas, Giacomo Indiveri,
Dylan R. Muir
- Abstract要約: 混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。
ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。
ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
- 参考スコア（独自算出の注目度）: 2.6949002029513167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixed-signal analog/digital electronic circuits can emulate spiking neurons
and synapses with extremely high energy efficiency, following an approach known
as "neuromorphic engineering". However, analog circuits are sensitive to
variation in fabrication among transistors in a chip ("device mismatch"). In
the case of neuromorphic implementation of Spiking Neural Networks (SNNs),
mismatch is expressed as differences in effective parameters between
identically-configured neurons and synapses. Each fabricated chip therefore
provides a different distribution of parameters such as time constants or
synaptic weights. Without the expensive overhead in terms of area and power of
extra on-chip learning or calibration circuits, device mismatch and other noise
sources represent a critical challenge for the deployment of pre-trained neural
network chips. Here we present a supervised learning approach that addresses
this challenge by maximizing robustness to mismatch and other common sources of
noise.
The proposed method trains (SNNs) to perform temporal classification tasks by
mimicking a pre-trained dynamical system, using a local learning rule adapted
from non-linear control theory. We demonstrate the functionality of our model
on two tasks that require memory to perform successfully, and measure the
robustness of our approach to several forms of noise and variability present in
the network. We show that our approach is more robust than several common
alternative approaches for training SNNs.
Our method provides a viable way to robustly deploy pre-trained networks on
mixed-signal neuromorphic hardware, without requiring per-device training or
calibration.
- Abstract（参考訳）: 混合信号アナログ/デジタル電子回路は「神経工学」として知られるアプローチに従って、スパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。
しかし、アナログ回路はチップ内のトランジスタ間の製造のばらつきに敏感である("device mismatch")。
スパイキングニューラルネットワーク(SNN)の神経形態実装の場合、ミスマッチは同一構成ニューロンとシナプス間の効果的なパラメータの違いとして表現される。
したがって、各製造チップは時間定数やシナプス重みなどのパラメータの異なる分布を提供する。
追加のオンチップ学習またはキャリブレーション回路の領域と電力の高価なオーバーヘッドがなければ、デバイスミスマッチおよびその他のノイズソースは、事前に訓練されたニューラルネットワークチップの展開にとって重要な課題です。
ここでは、ミスマッチやその他の一般的なノイズ源に対する堅牢性を最大化することで、この課題に対処する教師付き学習アプローチを紹介します。
提案手法は,非線形制御理論から適応した局所学習則を用いて,事前学習した力学系を模倣して時間的分類タスクを実行する。
我々は,メモリの動作を成功させる2つのタスクにおいて,モデルの有効性を実証し,ネットワーク内に存在する様々なノイズや変動性に対する我々のアプローチの頑健さを計測する。
我々のアプローチは、SNNのトレーニングのためのいくつかの一般的な代替アプローチよりも堅牢であることを示す。
本手法は, デバイスごとのトレーニングや校正を必要とせず, 混合信号のニューロモルフィックハードウェア上で, トレーニング済みネットワークを堅牢に展開する方法を提供する。
関連論文リスト
- Training and Deploying Spiking NN Applications to the Mixed-Signal
Neuromorphic Chip Dynap-SE2 with Rockpool [0.0]
混合信号ニューロモルフィックプロセッサはエッジ推論ワークロードに対して極めて低消費電力な演算を提供する。
この作業は、SNNのためのオープンソースのディープラーニングライブラリであるRockpoolを拡張し、混合信号SNNダイナミクスの正確なシミュレーションをサポートする。
論文 参考訳（メタデータ） (2023-03-14T08:56:54Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。
ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。
我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:41:36Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Inverse-Dirichlet Weighting Enables Reliable Training of Physics
Informed Neural Networks [2.580765958706854]
我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。
PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。
逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
論文 参考訳（メタデータ） (2021-07-02T10:01:37Z) - An error-propagation spiking neural network compatible with neuromorphic
processors [2.432141667343098]
本稿では,局所的な重み更新機構を用いたバックプロパゲーションを近似したスパイクに基づく学習手法を提案する。
本稿では,重み更新機構による誤り信号のバックプロパゲートを可能にするネットワークアーキテクチャを提案する。
この研究は、超低消費電力混合信号ニューロモルフィック処理系の設計に向けた第一歩である。
論文 参考訳（メタデータ） (2021-04-12T07:21:08Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Inference with Artificial Neural Networks on Analog Neuromorphic
Hardware [0.0]
BrainScaleS-2 ASICは混合信号ニューロンとシナプス回路から構成される。
システムは、人工ニューラルネットワークのベクトル行列乗算と累積モードでも動作する。
論文 参考訳（メタデータ） (2020-06-23T17:25:06Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳（メタデータ） (2020-06-02T23:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。