論文の概要: MSAT: Biologically Inspired Multi-Stage Adaptive Threshold for Conversion of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2303.13080v1
• Date: Thu, 23 Mar 2023 07:18:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 15:24:02.915139
• Title: MSAT: Biologically Inspired Multi-Stage Adaptive Threshold for Conversion of Spiking Neural Networks
• Title（参考訳）: MSAT:スパイクニューラルネットワークの変換のための生物学的にヒントを得た多段階適応閾値
• Authors: Xiang He, Yang Li, Dongcheng Zhao, Qingqun Kong, Yi Zeng
• Abstract要約: スパイキングニューラルネットワーク(SNN)はそのスパイク間隔のために低消費電力で推測できる。 ANN-SNN変換は、よく訓練されたニューラルネットワーク(ANN)を変換することでディープSNNを実現する効率的な方法である 既存の方法は、ニューロンがより深い層にスパイクを素早く届けるのを防ぐ変換に一定の閾値を使用するのが一般的である。
• 参考スコア（独自算出の注目度）: 11.392893261073594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) can do inference with low power consumption due to their spike sparsity. ANN-SNN conversion is an efficient way to achieve deep SNNs by converting well-trained Artificial Neural Networks (ANNs). However, the existing methods commonly use constant threshold for conversion, which prevents neurons from rapidly delivering spikes to deeper layers and causes high time delay. In addition, the same response for different inputs may result in information loss during the information transmission. Inspired by the biological model mechanism, we propose a multi-stage adaptive threshold (MSAT). Specifically, for each neuron, the dynamic threshold varies with firing history and input properties and is positively correlated with the average membrane potential and negatively correlated with the rate of depolarization. The self-adaptation to membrane potential and input allows a timely adjustment of the threshold to fire spike faster and transmit more information. Moreover, we analyze the Spikes of Inactivated Neurons error which is pervasive in early time steps and propose spike confidence accordingly as a measurement of confidence about the neurons that correctly deliver spikes. We use such spike confidence in early time steps to determine whether to elicit spike to alleviate this error. Combined with the proposed method, we examine the performance on non-trivial datasets CIFAR-10, CIFAR-100, and ImageNet. We also conduct sentiment classification and speech recognition experiments on the IDBM and Google speech commands datasets respectively. Experiments show near-lossless and lower latency ANN-SNN conversion. To the best of our knowledge, this is the first time to build a biologically inspired multi-stage adaptive threshold for converted SNN, with comparable performance to state-of-the-art methods while improving energy efficiency.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)はそのスパイク間隔のために低消費電力で推測できる。 ANN-SNN変換は、よく訓練されたニューラルネットワーク(ANN)を変換することで、深いSNNを実現する効率的な方法である。 しかし、既存の手法では変換に一定の閾値を用いることが多いため、ニューロンがより深い層にスパイクを素早く送り込むのを防ぎ、高い時間遅延を引き起こす。 さらに、異なる入力に対する同じ応答は、情報伝達中に情報損失をもたらす可能性がある。 生体モデル機構に着想を得て,多段階適応しきい値(MSAT)を提案する。 具体的には、各ニューロンの動的閾値は発火履歴や入力特性によって異なり、平均膜電位と正の相関があり、脱分極率と負の相関がある。 膜電位と入力への自己適応により、閾値をタイムリーに調整し、スパイクを速く発射し、より多くの情報を送信することができる。 さらに、早期に広まる不活性化ニューロンエラーのスパイクを分析し、スパイクを正しく伝達するニューロンに対する信頼度の測定としてスパイク信頼度を提案する。 このようなスパイク信頼度を早期ステップで使用して,このエラーを軽減するためにスパイクを誘発するかどうかを判断する。 提案手法と組み合わせて,非自明なデータセットCIFAR-10,CIFAR-100,ImageNetの性能を検討した。 また, idbmとgoogle speech commandsデータセット上で感情分類と音声認識実験を行った。 実験では、ほぼロスレスで低レイテンシのANN-SNN変換が示されている。 我々の知る限りでは、エネルギー効率を向上しつつ、最先端の手法に匹敵する性能を持つ変換SNNのための生物学的にインスパイアされた多段階適応しきい値を構築するのはこれが初めてである。

関連論文リスト

• Discovering Long-Term Effects on Parameter Efficient Fine-tuning [36.83255498301937]
  事前訓練されたニューラルネットワーク(Annns)は、堅牢なパターン認識機能を示す。 アンとBNNはヒト脳、特にBNNと大きな類似点を共有している アンは微調整によって新しい知識を得ることができる。
  論文  参考訳（メタデータ） (2024-08-24T03:27:29Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Co-learning synaptic delays, weights and adaptation in spiking neural networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。 スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
  論文  参考訳（メタデータ） (2023-09-12T09:13:26Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
  スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。 ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。 本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
  論文  参考訳（メタデータ） (2023-02-21T14:10:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Efficient and Accurate Conversion of Spiking Neural Network with Burst Spikes [9.210531698373256]
  脳にインスパイアされたエネルギー効率の高いニューラルネットワークとしてのスパイキングニューラルネットワーク(SNN)は、研究者の関心を集めている。 1つの効果的な方法は、訓練されたANNの重量をSNNにマッピングし、高い推論能力を達成することである。 変換されたスパイクニューラルネットワークは、しばしば性能劣化とかなりの遅延に悩まされる。 本稿では,残余情報の解法として,安価で高効率なバーストスパイクを放出するニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T03:48:17Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks [36.16846259899793]
  スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力、消費電力の低さ、高い生物学的信頼性により、膨大な研究関心を集めている。 既存の学習方法はウェイトのみを学習し、単一のスパイキングニューロンのダイナミクスを決定する膜関連パラメータを手動でチューニングする必要がある。 本稿では,脳の領域で膜関連パラメータが異なることの観察から着想を得て,シナプス重みだけでなく,SNNの膜時間定数も学習可能なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-11T14:35:42Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。