論文の概要: Unleashing the Potential of Spiking Neural Networks by Dynamic
Confidence
- arxiv url: http://arxiv.org/abs/2303.10276v1
- Date: Fri, 17 Mar 2023 23:18:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 20:23:28.759934
- Title: Unleashing the Potential of Spiking Neural Networks by Dynamic
Confidence
- Title(参考訳): 動的信頼度によるスパイクニューラルネットワークの可能性の解き放つ
- Authors: Chen Li, Edward Jones, Steve Furber
- Abstract要約: 本稿では、スパイキングニューラルネットワーク(SNN)における精度とレイテンシのトレードオフを緩和する新しい手法を提案する。
提案手法であるDynamic Confidenceは,SNNにいくつかの大きなメリットを提供する。
- 参考スコア(独自算出の注目度): 6.267152584185861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a new methodology to alleviate the fundamental trade-off
between accuracy and latency in spiking neural networks (SNNs). The approach
involves decoding confidence information over time from the SNN outputs and
using it to develop a decision-making agent that can dynamically determine when
to terminate each inference.
The proposed method, Dynamic Confidence, provides several significant
benefits to SNNs. 1. It can effectively optimize latency dynamically at
runtime, setting it apart from many existing low-latency SNN algorithms. Our
experiments on CIFAR-10 and ImageNet datasets have demonstrated an average 40%
speedup across eight different settings after applying Dynamic Confidence. 2.
The decision-making agent in Dynamic Confidence is straightforward to construct
and highly robust in parameter space, making it extremely easy to implement. 3.
The proposed method enables visualizing the potential of any given SNN, which
sets a target for current SNNs to approach. For instance, if an SNN can
terminate at the most appropriate time point for each input sample, a ResNet-50
SNN can achieve an accuracy as high as 82.47% on ImageNet within just 4.71 time
steps on average. Unlocking the potential of SNNs needs a highly-reliable
decision-making agent to be constructed and fed with a high-quality estimation
of ground truth. In this regard, Dynamic Confidence represents a meaningful
step toward realizing the potential of SNNs.
- Abstract(参考訳): 本稿では,スパイキングニューラルネットワーク(SNN)の精度とレイテンシのトレードオフを緩和する新しい手法を提案する。
このアプローチでは、sn出力から時間とともに信頼情報をデコードし、各推論を終了するタイミングを動的に決定できる意思決定エージェントを開発する。
提案手法であるDynamic Confidenceは,SNNにいくつかの大きなメリットを提供する。
1. 実行時に動的にレイテンシを最適化し、既存の低レイテンシSNNアルゴリズムとは分離することができる。
CIFAR-10とImageNetデータセットに関する実験は、Dynamic Confidenceを適用した後、8つの異なる設定で平均40%のスピードアップを示した。
2) Dynamic Confidenceにおける意思決定エージェントは,パラメータ空間の構築が容易で,非常に堅牢であり,実装が非常に容易である。
3)提案手法は,現在のSNNが接近するターゲットを設定する任意のSNNのポテンシャルを可視化する。
例えば、SNNが各入力サンプルの最も適切な時刻で終了できる場合、ResNet-50 SNNは平均4.71タイムステップでImageNet上で82.47%の精度を達成できる。
SNNの可能性を解き放つには、信頼性の高い意思決定エージェントを構築し、高品質な基底真理推定を行う必要がある。
この点において、Dynamic ConfidenceはSNNの可能性を実現するための重要なステップである。
関連論文リスト
- Noise Adaptor in Spiking Neural Networks [4.568827262994048]
低遅延スパイクニューラルネットワーク(SNN)アルゴリズムは大きな関心を集めている。
低遅延SNNを構築する最も効率的な方法の1つは、事前訓練された低ビット人工ニューラルネットワーク(ANN)をSNNに変換することである。
SNNを低ビットのANNから変換すると、時折ノイズが発生する可能性がある。
論文 参考訳(メタデータ) (2023-12-08T16:57:01Z) - A Hybrid ANN-SNN Architecture for Low-Power and Low-Latency Visual
Perception [49.877675666360695]
Spiking Neural Networks(SNN)は、バイオインスパイアされたニューラルネットワークの一種で、エッジデバイスに低消費電力で低レイテンシな推論をもたらすことを約束する。
イベントベース2Dおよび3Dヒューマンポーズ推定の課題について,本手法では,ANNに比べて性能を4%低下させることなく,88%の消費電力を消費することを示した。
論文 参考訳(メタデータ) (2023-03-24T17:38:45Z) - Optimising Event-Driven Spiking Neural Network with Regularisation and
Cutoff [33.91830001268308]
スパイキングニューラルネットワーク(SNN)は、計算効率を有望に改善する。
現在のSNNトレーニング手法は、主に固定時間ステップアプローチを採用している。
本稿では,効率的な推論を実現するために,推論中にいつでもSNNを終了できるSNNの遮断を検討することを提案する。
論文 参考訳(メタデータ) (2023-01-23T16:14:09Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。
高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
論文 参考訳(メタデータ) (2022-03-02T14:59:57Z) - Optimized Potential Initialization for Low-latency Spiking Neural
Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。
ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。
本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文 参考訳(メタデータ) (2022-02-03T07:15:43Z) - Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking
Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。
SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う
そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-12-22T18:47:45Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。