論文の概要: Gradient-descent hardware-aware training and deployment for mixed-signal
Neuromorphic processors
- arxiv url: http://arxiv.org/abs/2303.12167v2
- Date: Thu, 15 Feb 2024 04:00:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 19:02:18.081893
- Title: Gradient-descent hardware-aware training and deployment for mixed-signal
Neuromorphic processors
- Title(参考訳): 混合信号型ニューロモルフィックプロセッサのグラディエント・ディフレッシュ・ハードウェア・アウェアトレーニングと展開
- Authors: U\u{g}urcan \c{C}akal, Maryada, Chenxi Wu, Ilkay Ulusoy, Dylan R. Muir
- Abstract要約: 混合信号ニューロモルフィックプロセッサはエッジ推論ワークロードに対して極めて低消費電力な演算を提供する。
我々は、混合信号型ニューロモルフィックプロセッサDYNAP-SE2へのスパイキングニューラルネットワーク(SNN)の訓練と展開のための新しい手法を実証する。
- 参考スコア(独自算出の注目度): 2.812395851874055
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Mixed-signal neuromorphic processors provide extremely low-power operation
for edge inference workloads, taking advantage of sparse asynchronous
computation within Spiking Neural Networks (SNNs). However, deploying robust
applications to these devices is complicated by limited controllability over
analog hardware parameters, as well as unintended parameter and dynamical
variations of analog circuits due to fabrication non-idealities. Here we
demonstrate a novel methodology for ofDine training and deployment of spiking
neural networks (SNNs) to the mixed-signal neuromorphic processor DYNAP-SE2.
The methodology utilizes gradient-based training using a differentiable
simulation of the mixed-signal device, coupled with an unsupervised weight
quantization method to optimize the network's parameters. Parameter noise
injection during training provides robustness to the effects of quantization
and device mismatch, making the method a promising candidate for real-world
applications under hardware constraints and non-idealities. This work extends
Rockpool, an open-source deep-learning library for SNNs, with support for
accurate simulation of mixed-signal SNN dynamics. Our approach simplifies the
development and deployment process for the neuromorphic community, making
mixed-signal neuromorphic processors more accessible to researchers and
developers.
- Abstract(参考訳): 混合信号ニューロモルフィックプロセッサは、スパイキングニューラルネットワーク(SNN)内の疎非同期計算を活用することにより、エッジ推論ワークロードに対して極めて低消費電力な演算を提供する。
しかしながら、これらのデバイスにロバストなアプリケーションをデプロイすることは、アナログハードウェアパラメータ上の制御可能性の制限や、非理想的製造によるアナログ回路の意図しないパラメータや動的変動によって複雑である。
本稿では、混合信号型ニューロモルフィックプロセッサDYNAP-SE2に対するスパイキングニューラルネットワーク(SNN)の訓練と展開のための新しい手法を示す。
本手法は,混合信号装置の微分可能なシミュレーションと教師なし重み量子化法を併用してネットワークパラメータの最適化を行う。
トレーニング中のパラメータノイズ注入は、量子化とデバイスミスマッチの影響に対して堅牢性を提供し、ハードウェア制約や非理想性の下での現実のアプリケーションへの有望な候補となる。
この作業は、SNNのためのオープンソースのディープラーニングライブラリであるRockpoolを拡張し、混合信号SNNダイナミクスの正確なシミュレーションをサポートする。
我々のアプローチは、神経形態素コミュニティの開発と展開を単純化し、混合信号型神経形態素プロセッサを研究者や開発者にとってよりアクセスしやすくする。
関連論文リスト
- Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Signal Detection in MIMO Systems with Hardware Imperfections: Message
Passing on Neural Networks [101.59367762974371]
本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。
パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。
我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
論文 参考訳(メタデータ) (2022-10-08T04:32:58Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳(メタデータ) (2021-11-29T12:24:02Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳(メタデータ) (2021-11-29T09:30:06Z) - Supervised training of spiking neural networks for robust deployment on
mixed-signal neuromorphic processors [2.6949002029513167]
混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。
ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。
ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
論文 参考訳(メタデータ) (2021-02-12T09:20:49Z) - Implementing efficient balanced networks with mixed-signal spike-based
learning circuits [2.1640200483378953]
効率的な平衡ネットワーク(Efficient Balanced Networks、EBN)は、興奮性および抑制性シナプス電流が短時間の時間スケールで平衡しているスパイキングニューロンのネットワークである。
我々は、スパイキングニューロンのランダムな接続ネットワークを緊密にバランスの取れた状態に駆動するオンチップ実装に適した、新しい局所学習ルールを開発する。
それらの符号化特性とスパース活性により、ニューロモルフィック電子EBNは極端エッジコンピューティング用途に理想的に適合する。
論文 参考訳(メタデータ) (2020-10-27T15:05:51Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳(メタデータ) (2020-09-08T13:26:51Z) - Training of mixed-signal optical convolutional neural network with
reduced quantization level [1.3381749415517021]
アナログ行列乗算加速器を用いた混合信号人工ニューラルネットワーク(ANN)は、高速化と電力効率の向上を実現することができる。
本稿では、アナログ信号の2種類の誤り、ランダムノイズ、決定論的誤り(歪み)を含む混合信号ANNの訓練方法について報告する。
その結果,提案手法で訓練した混合信号ANNは,理想量子化ステップの最大50%のノイズレベルで等価な分類精度が得られることがわかった。
論文 参考訳(メタデータ) (2020-08-20T20:46:22Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Ultra-Low-Power FDSOI Neural Circuits for Extreme-Edge Neuromorphic
Intelligence [2.6199663901387997]
インメモリコンピューティング 混合信号ニューロモルフィックアーキテクチャはエッジコンピューティングのセンサ処理への応用に期待できる超低消費電力のソリューションを提供する。
本稿では、FDSOI(Fully-Depleted Silicon on Insulator)統合プロセスの特徴を利用する混合信号アナログ/デジタル回路を提案する。
論文 参考訳(メタデータ) (2020-06-25T09:31:29Z) - Structural plasticity on an accelerated analog neuromorphic hardware
system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。
我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。
ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文 参考訳(メタデータ) (2019-12-27T10:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。