論文の概要: Supervised training of spiking neural networks for robust deployment on mixed-signal neuromorphic processors

• arxiv url: http://arxiv.org/abs/2102.06408v1
• Date: Fri, 12 Feb 2021 09:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:06:41.965773
• Title: Supervised training of spiking neural networks for robust deployment on mixed-signal neuromorphic processors
• Title（参考訳）: 混合信号ニューロモルフィックプロセッサのロバスト展開のためのスパイクニューラルネットワークのトレーニング
• Authors: Julian B\"uchel, Dmitrii Zendrikov, Sergio Solinas, Giacomo Indiveri, Dylan R. Muir
• Abstract要約: 混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。 ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。 ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
• 参考スコア（独自算出の注目度）: 2.6949002029513167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed-signal analog/digital electronic circuits can emulate spiking neurons and synapses with extremely high energy efficiency, following an approach known as "neuromorphic engineering". However, analog circuits are sensitive to variation in fabrication among transistors in a chip ("device mismatch"). In the case of neuromorphic implementation of Spiking Neural Networks (SNNs), mismatch is expressed as differences in effective parameters between identically-configured neurons and synapses. Each fabricated chip therefore provides a different distribution of parameters such as time constants or synaptic weights. Without the expensive overhead in terms of area and power of extra on-chip learning or calibration circuits, device mismatch and other noise sources represent a critical challenge for the deployment of pre-trained neural network chips. Here we present a supervised learning approach that addresses this challenge by maximizing robustness to mismatch and other common sources of noise. The proposed method trains (SNNs) to perform temporal classification tasks by mimicking a pre-trained dynamical system, using a local learning rule adapted from non-linear control theory. We demonstrate the functionality of our model on two tasks that require memory to perform successfully, and measure the robustness of our approach to several forms of noise and variability present in the network. We show that our approach is more robust than several common alternative approaches for training SNNs. Our method provides a viable way to robustly deploy pre-trained networks on mixed-signal neuromorphic hardware, without requiring per-device training or calibration.
• Abstract（参考訳）: 混合信号アナログ/デジタル電子回路は「神経工学」として知られるアプローチに従って、スパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。 しかし、アナログ回路はチップ内のトランジスタ間の製造のばらつきに敏感である("device mismatch")。 スパイキングニューラルネットワーク(SNN)の神経形態実装の場合、ミスマッチは同一構成ニューロンとシナプス間の効果的なパラメータの違いとして表現される。 したがって、各製造チップは時間定数やシナプス重みなどのパラメータの異なる分布を提供する。 追加のオンチップ学習またはキャリブレーション回路の領域と電力の高価なオーバーヘッドがなければ、デバイスミスマッチおよびその他のノイズソースは、事前に訓練されたニューラルネットワークチップの展開にとって重要な課題です。 ここでは、ミスマッチやその他の一般的なノイズ源に対する堅牢性を最大化することで、この課題に対処する教師付き学習アプローチを紹介します。 提案手法は,非線形制御理論から適応した局所学習則を用いて,事前学習した力学系を模倣して時間的分類タスクを実行する。 我々は,メモリの動作を成功させる2つのタスクにおいて,モデルの有効性を実証し,ネットワーク内に存在する様々なノイズや変動性に対する我々のアプローチの頑健さを計測する。 我々のアプローチは、SNNのトレーニングのためのいくつかの一般的な代替アプローチよりも堅牢であることを示す。 本手法は, デバイスごとのトレーニングや校正を必要とせず, 混合信号のニューロモルフィックハードウェア上で, トレーニング済みネットワークを堅牢に展開する方法を提供する。

関連論文リスト

• Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
  スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。 SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。 この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。 本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
  論文  参考訳（メタデータ） (2024-11-11T15:20:54Z)
• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Neuromorphic analog circuits for robust on-chip always-on learning in spiking neural networks [1.9809266426888898]
  混合信号ニューロモルフィックシステムは、極端コンピューティングタスクを解決するための有望なソリューションである。 彼らのスパイクニューラルネットワーク回路は、連続的にセンサーデータをオンラインに処理するために最適化されている。 我々は,短期的アナログ力学と長期的三状態離散化機構を備えたオンチップ学習回路を設計する。
  論文  参考訳（メタデータ） (2023-07-12T11:14:25Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gradient-descent hardware-aware training and deployment for mixed-signal Neuromorphic processors [2.812395851874055]
  混合信号ニューロモルフィックプロセッサはエッジ推論ワークロードに対して極めて低消費電力な演算を提供する。 我々は、混合信号型ニューロモルフィックプロセッサDYNAP-SE2へのスパイキングニューラルネットワーク(SNN)の訓練と展開のための新しい手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T08:56:54Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
  実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。 ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。 我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:41:36Z)
• An error-propagation spiking neural network compatible with neuromorphic processors [2.432141667343098]
  本稿では,局所的な重み更新機構を用いたバックプロパゲーションを近似したスパイクに基づく学習手法を提案する。 本稿では,重み更新機構による誤り信号のバックプロパゲートを可能にするネットワークアーキテクチャを提案する。 この研究は、超低消費電力混合信号ニューロモルフィック処理系の設計に向けた第一歩である。
  論文  参考訳（メタデータ） (2021-04-12T07:21:08Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。