論文の概要: Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons

• arxiv url: http://arxiv.org/abs/2407.13534v1
• Date: Thu, 18 Jul 2024 14:06:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 15:00:55.980409
• Title: Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons
• Title（参考訳）: 適応スパイクニューロンを用いたニューロモルフィックハードウェア上のRNNの正確なマッピング
• Authors: Gauthier Boeshertz, Giacomo Indiveri, Manu Nair, Alpha Renner,
• Abstract要約: 我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。 適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。 我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
• 参考スコア（独自算出の注目度）: 2.9410174624086025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Thanks to their parallel and sparse activity features, recurrent neural networks (RNNs) are well-suited for hardware implementation in low-power neuromorphic hardware. However, mapping rate-based RNNs to hardware-compatible spiking neural networks (SNNs) remains challenging. Here, we present a ${\Sigma}{\Delta}$-low-pass RNN (lpRNN): an RNN architecture employing an adaptive spiking neuron model that encodes signals using ${\Sigma}{\Delta}$-modulation and enables precise mapping. The ${\Sigma}{\Delta}$-neuron communicates analog values using spike timing, and the dynamics of the lpRNN are set to match typical timescales for processing natural signals, such as speech. Our approach integrates rate and temporal coding, offering a robust solution for the efficient and accurate conversion of RNNs to SNNs. We demonstrate the implementation of the lpRNN on Intel's neuromorphic research chip Loihi, achieving state-of-the-art classification results on audio benchmarks using 3-bit weights. These results call for a deeper investigation of recurrency and adaptation in event-based systems, which may lead to insights for edge computing applications where power-efficient real-time inference is required.
• Abstract（参考訳）: 並列かつスパースなアクティビティ機能のおかげで、リカレントニューラルネットワーク(RNN)は低消費電力のニューロモルフィックハードウェアのハードウェア実装に適している。 しかし、ハードウェア互換のスパイクニューラルネットワーク(SNN)へのマッピングレートベースのRNNは依然として困難である。 本稿では,${\Sigma}{\Delta}$-low-pass RNN (lpRNN):${\Sigma}{\Delta}$-modulationを用いて信号を符号化し,正確なマッピングを可能にする適応スパイキングニューロンモデルを用いたRNNアーキテクチャを提案する。 ${\Sigma}{\Delta}$-neuronはスパイクタイミングを用いてアナログ値と通信し、lpRNNのダイナミクスは音声などの自然信号を処理する典型的な時間スケールと一致するように設定される。 我々の手法はレートと時間符号化を統合し、RNNをSNNに効率よく正確に変換するための堅牢なソリューションを提供する。 我々は,Intelのニューロモルフィック研究チップであるLoihiにおけるlpRNNの実装を実演し,3ビット重みを用いたオーディオベンチマークの最先端の分類結果を得た。 これらの結果から、イベントベースのシステムにおける頻繁性や適応性についてより深く研究し、電力効率のよいリアルタイム推論が必要なエッジコンピューティングアプリケーションに対する洞察につながる可能性がある。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Obtaining Optimal Spiking Neural Network in Sequence Learning via CRNN-SNN Conversion [12.893883491781697]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)に代わる有望な選択肢である 我々は、ニューラルネットワークにおける異なる構造のエンドツーエンド変換をサポートするために、2つのサブパイプを設計する。 本手法の有効性を,最先端の学習法や変換法と比較し,短時間・長期の時間スケールで示す。
  論文  参考訳（メタデータ） (2024-08-18T08:23:51Z)
• Optimal ANN-SNN Conversion with Group Neurons [39.14228133571838]
  スパイキングニューラルネットワーク(SNN)は、有望な第3世代のニューラルネットワークとして登場した。 効果的な学習アルゴリズムの欠如は、SNNにとって依然として課題である。 我々はグループニューロン(GN)と呼ばれる新しいタイプのニューロンを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T11:41:12Z)
• High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
  バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である 深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。 我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
  論文  参考訳（メタデータ） (2023-06-14T21:01:35Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• A Spiking Neural Network Structure Implementing Reinforcement Learning [0.0]
  本稿では,SNNの構造について述べる。 本論文で考察したSNN構造は、LIFAT(Leky Integration-and-fire neuron with adapt threshold)モデルの一般化によって記述されたスパイクニューロンを含む。 私の概念は、RLタスク特性に関する非常に一般的な仮定に基づいており、適用性に目に見える制限はありません。
  論文  参考訳（メタデータ） (2022-04-09T09:08:10Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。