論文の概要: STCSNN: High energy efficiency spike-train level spiking neural networks with spatio-temporal conversion
- arxiv url: http://arxiv.org/abs/2307.07136v2
- Date: Thu, 5 Sep 2024 05:23:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 05:11:54.859836
- Title: STCSNN: High energy efficiency spike-train level spiking neural networks with spatio-temporal conversion
- Title(参考訳): STCSNN:時空間変換を用いた高エネルギー効率スパイクトレインレベルスパイキングニューラルネットワーク
- Authors: Changqing Xu, Yi Liu, Yintang Yang,
- Abstract要約: 脳時空間スパイクニューロンネットワーク(SNN)は、低電力特性、高い生物学的可視性、強力な情報処理能力により、広く研究の関心を集めている。
SG(Surrogate)を採用することで、SNNの非微分性はトレーニング可能であるが、ANNと同等の精度を実現し、低消費電力機能を同時に維持することは依然として難しい。
本稿では,計算コストが低く高精度な時間変換型エネルギー効率のスパイクニューラルネットワークを提案する。
- 参考スコア(独自算出の注目度): 4.892303151981707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Brain-inspired spiking neuron networks (SNNs) have attracted widespread research interest due to their low power features, high biological plausibility, and strong spatiotemporal information processing capability. Although adopting a surrogate gradient (SG) makes the non-differentiability SNN trainable, achieving comparable accuracy for ANNs and keeping low-power features simultaneously is still tricky. In this paper, we proposed an energy-efficient spike-train level spiking neural network with spatio-temporal conversion, which has low computational cost and high accuracy. In the STCSNN, spatio-temporal conversion blocks (STCBs) are proposed to keep the low power features of SNNs and improve accuracy. However, STCSNN cannot adopt backpropagation algorithms directly due to the non-differentiability nature of spike trains. We proposed a suitable learning rule for STCSNNs by deducing the equivalent gradient of STCB. We evaluate the proposed STCSNN on static and neuromorphic datasets, including Fashion-Mnist, Cifar10, Cifar100, TinyImageNet, and DVS-Cifar10. The experiment results show that our proposed STCSNN outperforms the state-of-the-art accuracy on nearly all datasets, using fewer time steps and being highly energy-efficient.
- Abstract(参考訳): 脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、低電力特性、高い生物学的可視性、強い時空間情報処理能力により、広く研究の関心を集めている。
代理勾配(SG)を採用することで、SNNの非微分性は訓練可能であるが、ANNと同等の精度を達成し、低消費電力機能を同時に維持することは依然として難しい。
本稿では,時空間変換によるエネルギー効率の高いスパイクトレインレベルのスパイクニューラルネットワークを提案する。
STCSNNでは、SNNの低消費電力特性を維持し、精度を向上させるために時空間変換ブロック(STCB)が提案されている。
しかし、STCSNNはスパイク列車の非微分性の性質のため、バックプロパゲーションアルゴリズムを直接採用することはできない。
我々は,STCBの等価勾配を推定し,STCSNNに適した学習規則を提案する。
提案したSTCSNNを,Fashion-Mnist,Cifar10,Cifar100,TinyImageNet,DVS-Cifar10などの静的およびニューロモルフィックなデータセット上で評価した。
実験の結果,提案したSTCSNNは,時間ステップの削減とエネルギー効率の向上により,ほぼすべてのデータセットにおいて最先端の精度よりも優れていた。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳(メタデータ) (2024-09-19T06:52:34Z) - Shrinking Your TimeStep: Towards Low-Latency Neuromorphic Object
Recognition with Spiking Neural Network [5.174808367448261]
スパイキングニューラルネットワーク(SNN)を用いたニューロモーフィック物体認識は、低消費電力ニューロモーフィックコンピューティングの基盤となっている。
既存のSNNは、ニューロモルフィックオブジェクトを認識するために10から40回以上のタイムステップを利用して、かなりの遅延に悩まされている。
本研究では,Shrinking SNN(SSNN)を提案する。
論文 参考訳(メタデータ) (2024-01-02T02:05:05Z) - When Bio-Inspired Computing meets Deep Learning: Low-Latency, Accurate,
& Energy-Efficient Spiking Neural Networks from Artificial Neural Networks [22.721987637571306]
Spiking Neural Networks (SNN) は畳み込みニューラルネットワーク (CNN) に匹敵する精度を示している
ANN-to-SNN変換は、最近、複雑な画像認識タスクにおける最先端(SOTA)テスト精度に近いディープSNNの開発において、大きな注目を集めている。
提案手法は,SOTA変換手法で必要となる時間ステップを指数的に減少させる新しいANN-to-SNN変換フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-12T00:10:45Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳(メタデータ) (2023-10-23T14:26:16Z) - High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である
深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。
我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
論文 参考訳(メタデータ) (2023-06-14T21:01:35Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳(メタデータ) (2022-10-09T07:47:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Optimal Conversion of Conventional Artificial Neural Networks to Spiking
Neural Networks [0.0]
spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。
しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。
提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
論文 参考訳(メタデータ) (2021-02-28T12:04:22Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object
Tracking [20.595208488431766]
SiamSNNは、視覚オブジェクト追跡ベンチマークであるTB2013, VOT2016, GOT-10kにおいて、短いレイテンシと低い精度の損失を達成する最初のディープSNNトラッカーである。
SiamSNNは、ニューロモルフィックチップTrueNorth上で低エネルギー消費とリアルタイムを実現する。
論文 参考訳(メタデータ) (2020-03-17T08:49:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。