論文の概要: RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper High-Accuracy and Low-Latency Spiking Neural Network

• arxiv url: http://arxiv.org/abs/2003.01811v2
• Date: Wed, 1 Apr 2020 17:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 20:17:42.381811
• Title: RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper High-Accuracy and Low-Latency Spiking Neural Network
• Title（参考訳）: rmp-snn:高精度・低遅延スパイクニューラルネットワークのための残留膜電位ニューロン
• Authors: Bing Han, Gopalakrishnan Srinivasan, and Kaushik Roy
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、第3世代の人工ニューラルネットワークとして大きな研究関心を集めている。 VGG-16, ResNet-20, ResNet-34 SNN に対して, RMP ニューロンを用いたほぼ無損失 ANN-SNN 変換を示す。
• 参考スコア（独自算出の注目度）: 11.447730771403464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) have recently attracted significant research interest as the third generation of artificial neural networks that can enable low-power event-driven data analytics. The best performing SNNs for image recognition tasks are obtained by converting a trained Analog Neural Network (ANN), consisting of Rectified Linear Units (ReLU), to SNN composed of integrate-and-fire neurons with "proper" firing thresholds. The converted SNNs typically incur loss in accuracy compared to that provided by the original ANN and require sizable number of inference time-steps to achieve the best accuracy. We find that performance degradation in the converted SNN stems from using "hard reset" spiking neuron that is driven to fixed reset potential once its membrane potential exceeds the firing threshold, leading to information loss during SNN inference. We propose ANN-SNN conversion using "soft reset" spiking neuron model, referred to as Residual Membrane Potential (RMP) spiking neuron, which retains the "residual" membrane potential above threshold at the firing instants. We demonstrate near loss-less ANN-SNN conversion using RMP neurons for VGG-16, ResNet-20, and ResNet-34 SNNs on challenging datasets including CIFAR-10 (93.63% top-1), CIFAR-100 (70.93% top-1), and ImageNet (73.09% top-1 accuracy). Our results also show that RMP-SNN surpasses the best inference accuracy provided by the converted SNN with "hard reset" spiking neurons using 2-8 times fewer inference time-steps across network architectures and datasets.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は最近、低消費電力のイベント駆動データ分析を可能にする第3世代の人工知能ニューラルネットワークとして、大きな研究関心を集めている。 画像認識タスクに最適なSNNは、Rectified Linear Units (ReLU) からなる訓練されたアナログニューラルネットワーク(ANN)を「適切な」発射閾値を持つ統合および発射ニューロンからなるSNNに変換することで得られる。 変換されたsnは、典型的には元の ann のものと比べ精度の低下を生じさせ、最適な精度を達成するためにかなりの数の推論時間ステップを必要とする。 変換されたSNNの性能劣化は、膜電位が発射しきい値を超えたときにリセット電位を固定するために駆動される「ハードリセット」スパイキングニューロンの使用によるものであり、SNN推論時の情報損失につながる。 本稿では, 残感膜電位(Residual membrane potential, RMP)と呼ばれる, 発火瞬間の閾値以上の「残留性」膜電位を保持するスパイリングニューロンモデルを用いて, ANN-SNN変換を提案する。 我々は、CIFAR-10 (93.63% top-1), CIFAR-100 (70.93% top-1), ImageNet (73.09% top-1 accuracy) などの挑戦的なデータセットに対して、VGG-16, ResNet-20, ResNet-34 SNN の RMP ニューロンを用いたほぼロスレス ANN-SNN 変換を示す。 また,RMP-SNNは,ネットワークアーキテクチャやデータセットの2～8倍の時間ステップで「ハードリセット」スパイキングニューロンを用いた変換SNNの最高の推論精度を上回ることを示した。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Optimal ANN-SNN Conversion with Group Neurons [39.14228133571838]
  スパイキングニューラルネットワーク(SNN)は、有望な第3世代のニューラルネットワークとして登場した。 効果的な学習アルゴリズムの欠如は、SNNにとって依然として課題である。 我々はグループニューロン(GN)と呼ばれる新しいタイプのニューロンを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T11:41:12Z)
• Low Latency Conversion of Artificial Neural Network Models to Rate-encoded Spiking Neural Networks [11.300257721586432]
  スパイキングニューラルネットワーク(SNN)は、リソース制約のあるアプリケーションに適している。 典型的なレートエンコードされたSNNでは、グローバルに固定された時間ウィンドウ内の一連のバイナリスパイクを使用してニューロンを発射する。 本研究の目的は、ANNを等価SNNに変換する際の精度を維持しつつ、これを削減することである。
  論文  参考訳（メタデータ） (2022-10-27T08:13:20Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• BSNN: Towards Faster and Better Conversion of Artificial Neural Networks to Spiking Neural Networks with Bistable Neurons [8.555786938446133]
  スパイキングニューラルネットワーク(SNN)は、個別のバイナリイベントを通じて情報を計算し、伝達する。 最近の研究は、人工知能ニューラルネットワーク(ANN)をSNNに変換することで、優れたパフォーマンスで重要な進歩を遂げている。 位相リードと位相ラグに起因する不活性化ニューロンのスパイク(SIN)問題に対処するバイスタブルスパイクニューラルネットワーク(BSNN)を提案する。
  論文  参考訳（メタデータ） (2021-05-27T02:38:02Z)
• Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。 ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。 本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
  論文  参考訳（メタデータ） (2021-05-11T10:05:53Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。