論文の概要: MT-SNN: Enhance Spiking Neural Network with Multiple Thresholds
- arxiv url: http://arxiv.org/abs/2303.11127v1
- Date: Mon, 20 Mar 2023 14:04:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 15:19:20.397644
- Title: MT-SNN: Enhance Spiking Neural Network with Multiple Thresholds
- Title(参考訳): MT-SNN: 複数の閾値を持つスパイクニューラルネットワーク
- Authors: Xiaoting Wang, Yanxiang Zhang, Yongzhe Zhang
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)に代わる有望なエネルギー効率の代替品である
本稿では,バイナライズされたアクティベーションによる精度損失を軽減するために,Multiple Threshold(MT)アプローチを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs), as a biology-inspired method mimicking the
spiking nature of brain neurons, is a promising energy-efficient alternative to
the traditional artificial neural networks (ANNs). The energy saving of SNNs is
mainly from multiplication free property brought by binarized intermediate
activations. In this paper, we proposed a Multiple Threshold (MT) approach to
alleviate the precision loss brought by the binarized activations, such that
SNNs can reach higher accuracy at fewer steps. We evaluate the approach on
CIFAR10, CIFAR100 and DVS-CIFAR10, and demonstrate that MT can promote SNNs
extensively, especially at early steps. For example, With MT,
Parametric-Leaky-Integrate-Fire(PLIF) based VGG net can even outperform the ANN
counterpart with 1 step.
- Abstract(参考訳): スパイキングニューラルネットワーク(snns)は、脳ニューロンのスパイキングの性質を模倣する生物学に触発された手法であり、従来のニューラルネットワーク(anns)のエネルギー効率に優れた代替手段である。
SNNの省エネは主に二項化中間活性化によってもたらされる乗算自由性である。
本稿では,二項化アクティベーションによる精度低下を軽減し,SNNがより少ないステップで高い精度で到達できるように,Multiple Threshold(MT)アプローチを提案する。
CIFAR10, CIFAR100, DVS-CIFAR10に対するアプローチを評価し, 特に早期段階においてMTがSNNを広範囲に促進できることを実証した。
例えば、MTでは、Parametric-Leaky-Integrate-Fire(PLIF)ベースのVGGネットは1ステップでANNに勝る。
関連論文リスト
- LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳(メタデータ) (2023-10-23T14:26:16Z) - High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である
深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。
我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
論文 参考訳(メタデータ) (2023-06-14T21:01:35Z) - Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks
via Self-Distillation and Weight Factorization [12.1610509770913]
スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。
我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。
我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
論文 参考訳(メタデータ) (2023-05-03T13:12:17Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳(メタデータ) (2023-02-01T04:22:59Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳(メタデータ) (2022-10-09T07:47:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Spiking Neural Networks with Improved Inherent Recurrence Dynamics for
Sequential Learning [6.417011237981518]
漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。
我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。
そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
論文 参考訳(メタデータ) (2021-09-04T17:13:28Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳(メタデータ) (2021-05-11T10:05:53Z) - Optimal Conversion of Conventional Artificial Neural Networks to Spiking
Neural Networks [0.0]
spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。
しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。
提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
論文 参考訳(メタデータ) (2021-02-28T12:04:22Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳(メタデータ) (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。