論文の概要: LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding
- arxiv url: http://arxiv.org/abs/2310.14978v1
- Date: Mon, 23 Oct 2023 14:26:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 19:38:33.784433
- Title: LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding
- Title（参考訳）: LC-TTFS:TTFS符号化によるニューラルネットワークスパイキングのためのロスレスネットワーク変換
- Authors: Qu Yang, Malu Zhang, Jibin Wu, Kay Chen Tan, and Haizhou Li
- Abstract要約: 我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
- 参考スコア（独自算出の注目度）: 55.64533786293656
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The biological neurons use precise spike times, in addition to the spike
firing rate, to communicate with each other. The time-to-first-spike (TTFS)
coding is inspired by such biological observation. However, there is a lack of
effective solutions for training TTFS-based spiking neural network (SNN). In
this paper, we put forward a simple yet effective network conversion algorithm,
which is referred to as LC-TTFS, by addressing two main problems that hinder an
effective conversion from a high-performance artificial neural network (ANN) to
a TTFS-based SNN. We show that our algorithm can achieve a near-perfect mapping
between the activation values of an ANN and the spike times of an SNN on a
number of challenging AI tasks, including image classification, image
reconstruction, and speech enhancement. With TTFS coding, we can achieve up to
orders of magnitude saving in computation over ANN and other rate-based SNNs.
The study, therefore, paves the way for deploying ultra-low-power TTFS-based
SNNs on power-constrained edge computing platforms.
- Abstract（参考訳）: 生物学的ニューロンは、スパイク発射速度に加えて、正確なスパイク時間を使って互いに通信する。
time-to-first-spike (ttfs) コーディングは、このような生物学的観察から着想を得ている。
しかし、TTFSベースのスパイクニューラルネットワーク(SNN)をトレーニングするための効果的なソリューションがない。
本稿では,高速人工ニューラルネットワーク(ANN)からTTFSベースのSNNへの効果的な変換を妨げる2つの主要な問題に対処し,LC-TTFSと呼ばれる単純なネットワーク変換アルゴリズムを提案する。
本稿では,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを,画像分類,画像再構成,音声強調など,難易度の高いAIタスクで実現できることを示す。
TTFSコーディングにより、ANNや他のレートベースのSNN上での計算において、最大で1桁の節約が達成できる。
したがって、この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNを展開するための道を開いた。
関連論文リスト
- High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である
深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。
我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
論文 参考訳（メタデータ） (2023-06-14T21:01:35Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on
Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。
LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。
我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-03-11T15:55:34Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Training Energy-Efficient Deep Spiking Neural Networks with
Time-to-First-Spike Coding [29.131030799324844]
スパイキングニューラルネットワーク(SNN)は人間の脳の動作を模倣する。
ディープラーニングでは、ディープニューラルネットワーク(DNN)が深刻な問題になっている。
本稿では,TTFS符号化を用いたエネルギー効率の高い深部SNNの学習手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T16:02:27Z) - Optimal Conversion of Conventional Artificial Neural Networks to Spiking
Neural Networks [0.0]
spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。
しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。
提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
論文 参考訳（メタデータ） (2021-02-28T12:04:22Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。