論文の概要: BSNN: Towards Faster and Better Conversion of Artificial Neural Networks to Spiking Neural Networks with Bistable Neurons

• arxiv url: http://arxiv.org/abs/2105.12917v1
• Date: Thu, 27 May 2021 02:38:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 16:13:12.183034
• Title: BSNN: Towards Faster and Better Conversion of Artificial Neural Networks to Spiking Neural Networks with Bistable Neurons
• Title（参考訳）: BSNN: バイスタブルニューロンを持つニューラルネットワークをスパイクするニューラルネットワークの高速かつより良い変換を目指す
• Authors: Yang Li, Yi Zeng, Dongcheng Zhao
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、個別のバイナリイベントを通じて情報を計算し、伝達する。 最近の研究は、人工知能ニューラルネットワーク(ANN)をSNNに変換することで、優れたパフォーマンスで重要な進歩を遂げている。 位相リードと位相ラグに起因する不活性化ニューロンのスパイク(SIN)問題に対処するバイスタブルスパイクニューラルネットワーク(BSNN)を提案する。
• 参考スコア（独自算出の注目度）: 8.555786938446133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The spiking neural network (SNN) computes and communicates information through discrete binary events. It is considered more biologically plausible and more energy-efficient than artificial neural networks (ANN) in emerging neuromorphic hardware. However, due to the discontinuous and non-differentiable characteristics, training SNN is a relatively challenging task. Recent work has achieved essential progress on an excellent performance by converting ANN to SNN. Due to the difference in information processing, the converted deep SNN usually suffers serious performance loss and large time delay. In this paper, we analyze the reasons for the performance loss and propose a novel bistable spiking neural network (BSNN) that addresses the problem of spikes of inactivated neurons (SIN) caused by the phase lead and phase lag. Also, when ResNet structure-based ANNs are converted, the information of output neurons is incomplete due to the rapid transmission of the shortcut path. We design synchronous neurons (SN) to help efficiently improve performance. Experimental results show that the proposed method only needs 1/4-1/10 of the time steps compared to previous work to achieve nearly lossless conversion. We demonstrate state-of-the-art ANN-SNN conversion for VGG16, ResNet20, and ResNet34 on challenging datasets including CIFAR-10 (95.16% top-1), CIFAR-100 (78.12% top-1), and ImageNet (72.64% top-1).
• Abstract（参考訳）: spiking neural network(snn)は、離散的なバイナリイベントを通じて情報を計算し、通信する。 ニューロモルフィック・ハードウェアでは、ニューラルネットワーク(ann)よりも生物学的に有益でエネルギー効率が高いと考えられている。 しかし,不連続性や不連続性のため,SNNの訓練は比較的難しい課題である。 近年の成果は, ANN を SNN に変換することで, 優れた性能を実現している。 情報処理の違いにより、変換された深部SNNは通常、重大な性能損失と大きな遅延を被る。 本稿では,本研究の目的は,位相リードと位相ラグによる不活性化ニューロン(sin)のスパイク問題に対処する,新しいbistable spiking neural network(bsnn)を提案することである。 また、ResNet構造に基づくANNが変換されると、ショートカットパスの高速伝送により出力ニューロンの情報が不完全となる。 同期ニューロン(SN)を設計し,性能向上に寄与する。 実験結果から,提案手法は従来よりも1/4-1/10の時間ステップしか必要としなかった。 我々は、CIFAR-10(95.16% トップ-1)、CIFAR-100(78.12% トップ-1)、ImageNet(72.64% トップ-1)などの挑戦的なデータセットに対して、VGG16、ResNet20、ResNet34に対する最先端のANN-SNN変換を示す。

関連論文リスト

• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Optimal ANN-SNN Conversion with Group Neurons [39.14228133571838]
  スパイキングニューラルネットワーク(SNN)は、有望な第3世代のニューラルネットワークとして登場した。 効果的な学習アルゴリズムの欠如は、SNNにとって依然として課題である。 我々はグループニューロン(GN)と呼ばれる新しいタイプのニューロンを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T11:41:12Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Reducing ANN-SNN Conversion Error through Residual Membrane Potential [19.85338979292052]
  スパイキングニューラルネットワーク(SNN)は、低消費電力のユニークな特性とニューロモルフィックチップ上の高速コンピューティングにより、広く学術的な注目を集めている。 本稿では,不均一な誤差を詳細に解析し,それを4つのカテゴリに分割する。 本研究では,残膜電位に基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-02-04T04:44:31Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Training Deep Spiking Neural Networks [0.0]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)とニューロモルフィックハードウェアは、エネルギー効率を桁違いに高める可能性がある。 CIFAR100およびImagenetteオブジェクト認識データセット上で、ResNet50アーキテクチャでSNNをトレーニングすることが可能であることを示す。 訓練されたSNNは、類似のANNと比較して精度が劣るが、数桁の推論時間ステップを必要とする。
  論文  参考訳（メタデータ） (2020-06-08T09:47:05Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper High-Accuracy and Low-Latency Spiking Neural Network [11.447730771403464]
  スパイキングニューラルネットワーク(SNN)は、第3世代の人工ニューラルネットワークとして大きな研究関心を集めている。 VGG-16, ResNet-20, ResNet-34 SNN に対して, RMP ニューロンを用いたほぼ無損失 ANN-SNN 変換を示す。
  論文  参考訳（メタデータ） (2020-02-25T18:19:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。