論文の概要: You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy

• arxiv url: http://arxiv.org/abs/2006.09982v2
• Date: Sun, 8 Nov 2020 09:10:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 17:11:31.601213
• Title: You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy
• Title（参考訳）: エネルギー効率の良いニューロモルフィック推論をanレベル精度に向上させる
• Authors: Srivatsa P and Kyle Timothy Ng Chu and Burin Amornpaisannon and Yaswanth Tavva and Venkata Pavan Kumar Miriyala and Jibin Wu and Malu Zhang and Haizhou Li and Trevor E. Carlson
• Abstract要約: スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
• 参考スコア（独自算出の注目度）: 51.861168222799186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the past decade, advances in Artificial Neural Networks (ANNs) have allowed them to perform extremely well for a wide range of tasks. In fact, they have reached human parity when performing image recognition, for example. Unfortunately, the accuracy of these ANNs comes at the expense of a large number of cache and/or memory accesses and compute operations. Spiking Neural Networks (SNNs), a type of neuromorphic, or brain-inspired network, have recently gained significant interest as power-efficient alternatives to ANNs, because they are sparse, accessing very few weights, and typically only use addition operations instead of the more power-intensive multiply-and-accumulate (MAC) operations. The vast majority of neuromorphic hardware designs support rate-encoded SNNs, where the information is encoded in spike rates. Rate-encoded SNNs could be seen as inefficient as an encoding scheme because it involves the transmission of a large number of spikes. A more efficient encoding scheme, Time-To-First-Spike (TTFS) encoding, encodes information in the relative time of arrival of spikes. While TTFS-encoded SNNs are more efficient than rate-encoded SNNs, they have, up to now, performed poorly in terms of accuracy compared to previous methods. Hence, in this work, we aim to overcome the limitations of TTFS-encoded neuromorphic systems. To accomplish this, we propose: (1) a novel optimization algorithm for TTFS-encoded SNNs converted from ANNs and (2) a novel hardware accelerator for TTFS-encoded SNNs, with a scalable and low-power design. Overall, our work in TTFS encoding and training improves the accuracy of SNNs to achieve state-of-the-art results on MNIST MLPs, while reducing power consumption by 1.46$\times$ over the state-of-the-art neuromorphic hardware.
• Abstract（参考訳）: 過去10年間で、Artificial Neural Networks(ANN)の進歩により、幅広いタスクに対して極めて優れたパフォーマンスを実現している。 実際、例えば画像認識を行う場合、それらは人間の同等性に達している。 残念ながら、これらのANNの精度は、大量のキャッシュと/またはメモリアクセスと計算操作を犠牲にしている。 ニューロモルフィックの一種であるスパイキングニューラルネットワーク(SNN)は、近年ANNの電力効率に優れた代替品として大きな関心を集めている。 ニューロモルフィックハードウェアの設計の大部分は、スパイクレートでエンコードされたSNNをサポートする。 レートエンコードされたSNNは、多数のスパイクの送信を伴うため、符号化方式として非効率であると見なすことができる。 より効率的な符号化方式であるTime-To-First-Spike (TTFS)エンコーディングは、スパイクの到着相対時間で情報をエンコードする。 TTFSエンコードされたSNNは、レートエンコードされたSNNよりも効率が良いが、これまでは従来の手法に比べて精度が劣っていた。 そこで本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。 そこで本研究では,(1)ANNから変換されたTTFS符号化SNNの新しい最適化アルゴリズム,(2)スケーラブルで低消費電力な設計によるTTFS符号化SNNの新しいハードウェアアクセラレータを提案する。 全体として、TTFSエンコーディングとトレーニングにおける作業は、MNIST MLPの最先端結果を達成するためにSNNの精度を向上させるとともに、最先端のニューロモルフィックハードウェアよりも1.46$\times$の消費電力を削減する。

関連論文リスト

• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Ultra-low-power Image Classification on Neuromorphic Hardware [3.784976081087904]
  スパイキングニューラルネットワーク(SNN)は、時間的および空間的間隔を利用して超低消費電力の応用を約束する。 空間的特徴に大きく依存する視覚タスクの時間的バックプロパゲーションを用いたSNNの訓練には,計算コストがかかる。 本稿では,最初のスパイクまでの時間に基づく時間的ANN-to-SNN変換法であるQuartzを提案する。
  論文  参考訳（メタデータ） (2023-09-28T18:53:43Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Timing-Based Backpropagation in Spiking Neural Networks Without Single-Spike Restrictions [2.8360662552057323]
  スパイキングニューラルネットワーク(SNN)のトレーニングのための新しいバックプロパゲーションアルゴリズムを提案する。 シングルスパイク制限なしで、個々のニューロンの相対多重スパイクタイミングに情報をエンコードする。
  論文  参考訳（メタデータ） (2022-11-29T11:38:33Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding [5.725845886457027]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。 SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。 本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-26T06:16:40Z)
• Sparse Spiking Gradient Descent [2.741266294612776]
  本稿では,従来の手法と同等あるいはより高精度なSNNバックプロパゲーションアルゴリズムを提案する。 本稿では,複雑性の異なる実データセットに対する本手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-05-18T20:00:55Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。