論文の概要: Gradient-descent hardware-aware training and deployment for mixed-signal Neuromorphic processors

• arxiv url: http://arxiv.org/abs/2303.12167v2
• Date: Thu, 15 Feb 2024 04:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 19:02:18.081893
• Title: Gradient-descent hardware-aware training and deployment for mixed-signal Neuromorphic processors
• Title（参考訳）: 混合信号型ニューロモルフィックプロセッサのグラディエント・ディフレッシュ・ハードウェア・アウェアトレーニングと展開
• Authors: U\u{g}urcan \c{C}akal, Maryada, Chenxi Wu, Ilkay Ulusoy, Dylan R. Muir
• Abstract要約: 混合信号ニューロモルフィックプロセッサはエッジ推論ワークロードに対して極めて低消費電力な演算を提供する。 我々は、混合信号型ニューロモルフィックプロセッサDYNAP-SE2へのスパイキングニューラルネットワーク(SNN)の訓練と展開のための新しい手法を実証する。
• 参考スコア（独自算出の注目度）: 2.812395851874055
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Mixed-signal neuromorphic processors provide extremely low-power operation for edge inference workloads, taking advantage of sparse asynchronous computation within Spiking Neural Networks (SNNs). However, deploying robust applications to these devices is complicated by limited controllability over analog hardware parameters, as well as unintended parameter and dynamical variations of analog circuits due to fabrication non-idealities. Here we demonstrate a novel methodology for ofDine training and deployment of spiking neural networks (SNNs) to the mixed-signal neuromorphic processor DYNAP-SE2. The methodology utilizes gradient-based training using a differentiable simulation of the mixed-signal device, coupled with an unsupervised weight quantization method to optimize the network's parameters. Parameter noise injection during training provides robustness to the effects of quantization and device mismatch, making the method a promising candidate for real-world applications under hardware constraints and non-idealities. This work extends Rockpool, an open-source deep-learning library for SNNs, with support for accurate simulation of mixed-signal SNN dynamics. Our approach simplifies the development and deployment process for the neuromorphic community, making mixed-signal neuromorphic processors more accessible to researchers and developers.
• Abstract（参考訳）: 混合信号ニューロモルフィックプロセッサは、スパイキングニューラルネットワーク(SNN)内の疎非同期計算を活用することにより、エッジ推論ワークロードに対して極めて低消費電力な演算を提供する。 しかしながら、これらのデバイスにロバストなアプリケーションをデプロイすることは、アナログハードウェアパラメータ上の制御可能性の制限や、非理想的製造によるアナログ回路の意図しないパラメータや動的変動によって複雑である。 本稿では、混合信号型ニューロモルフィックプロセッサDYNAP-SE2に対するスパイキングニューラルネットワーク(SNN)の訓練と展開のための新しい手法を示す。 本手法は,混合信号装置の微分可能なシミュレーションと教師なし重み量子化法を併用してネットワークパラメータの最適化を行う。 トレーニング中のパラメータノイズ注入は、量子化とデバイスミスマッチの影響に対して堅牢性を提供し、ハードウェア制約や非理想性の下での現実のアプリケーションへの有望な候補となる。 この作業は、SNNのためのオープンソースのディープラーニングライブラリであるRockpoolを拡張し、混合信号SNNダイナミクスの正確なシミュレーションをサポートする。 我々のアプローチは、神経形態素コミュニティの開発と展開を単純化し、混合信号型神経形態素プロセッサを研究者や開発者にとってよりアクセスしやすくする。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Genetic Motifs as a Blueprint for Mismatch-Tolerant Neuromorphic Computing [1.8292454465322363]
  SNNの混合信号実装はエッジコンピューティングアプリケーションに有望なソリューションを提供する。 これらのニューロモルフィックプロセッサのアナログ回路におけるデバイスミスマッチは、堅牢な処理の展開に重大な課題をもたらす。 この問題に対処するために,生物開発に触発された新しいアーキテクチャソリューションを導入する。
  論文  参考訳（メタデータ） (2024-10-25T09:04:50Z)
• A Realistic Simulation Framework for Analog/Digital Neuromorphic Architectures [73.65190161312555]
  ARCANAは、混合信号ニューロモルフィック回路の特性を考慮に入れたスパイクニューラルネットワークシミュレータである。 その結果,ソフトウェアでトレーニングしたスパイクニューラルネットワークの挙動を,信頼性の高い推定結果として提示した。
  論文  参考訳（メタデータ） (2024-09-23T11:16:46Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Signal Detection in MIMO Systems with Hardware Imperfections: Message Passing on Neural Networks [101.59367762974371]
  本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。 パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。 我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
  論文  参考訳（メタデータ） (2022-10-08T04:32:58Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Supervised training of spiking neural networks for robust deployment on mixed-signal neuromorphic processors [2.6949002029513167]
  混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。 ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。 ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-12T09:20:49Z)
• Training of mixed-signal optical convolutional neural network with reduced quantization level [1.3381749415517021]
  アナログ行列乗算加速器を用いた混合信号人工ニューラルネットワーク(ANN)は、高速化と電力効率の向上を実現することができる。 本稿では、アナログ信号の2種類の誤り、ランダムノイズ、決定論的誤り(歪み)を含む混合信号ANNの訓練方法について報告する。 その結果,提案手法で訓練した混合信号ANNは,理想量子化ステップの最大50%のノイズレベルで等価な分類精度が得られることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T20:46:22Z)
• Ultra-Low-Power FDSOI Neural Circuits for Extreme-Edge Neuromorphic Intelligence [2.6199663901387997]
  インメモリコンピューティング 混合信号ニューロモルフィックアーキテクチャはエッジコンピューティングのセンサ処理への応用に期待できる超低消費電力のソリューションを提供する。 本稿では、FDSOI(Fully-Depleted Silicon on Insulator)統合プロセスの特徴を利用する混合信号アナログ/デジタル回路を提案する。
  論文  参考訳（メタデータ） (2020-06-25T09:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。