論文の概要: Keys to Accurate Feature Extraction Using Residual Spiking Neural
Networks
- arxiv url: http://arxiv.org/abs/2111.05955v1
- Date: Wed, 10 Nov 2021 21:29:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-12 13:49:05.062268
- Title: Keys to Accurate Feature Extraction Using Residual Spiking Neural
Networks
- Title(参考訳): 残留スパイクニューラルネットワークを用いた高精度特徴抽出のための鍵
- Authors: Alex Vicente-Sola (1), Davide L. Manna (1), Paul Kirkland (1), Gaetano
Di Caterina (1), Trevor Bihl (2) ((1) University of Strathclyde, (2) Air
Force Research Laboratory)
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった
本稿では,現代のスパイク建築の鍵となる構成要素について述べる。
我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Spiking neural networks (SNNs) have become an interesting alternative to
conventional artificial neural networks (ANN) thanks to their temporal
processing capabilities and their low-SWaP (Size, Weight, and Power) and energy
efficient implementations in neuromorphic hardware. However the challenges
involved in training SNNs have limited their performance in terms of accuracy
and thus their applications. Improving learning algorithms and neural
architectures for a more accurate feature extraction is therefore one of the
current priorities in SNN research. In this paper we present a study on the key
components of modern spiking architectures. We empirically compare different
techniques in image classification datasets taken from the best performing
networks. We design a spiking version of the successful residual network
(ResNet) architecture and test different components and training strategies on
it. Our results provide a state of the art guide to SNN design, which allows to
make informed choices when trying to build the optimal visual feature
extractor. Finally, our network outperforms previous SNN architectures in
CIFAR-10 (94.1%) and CIFAR-100 (74.5%) datasets and matches the state of the
art in DVS-CIFAR10 (71.3%), with less parameters than the previous state of the
art and without the need for ANN-SNN conversion. Code available at
https://github.com/VicenteAlex/Spiking_ResNet.
- Abstract(参考訳): スパイキングニューラルネットワーク(snn)は、その時間的処理能力と低スワップ(サイズ、重量、パワー)、およびニューロモルフィックハードウェアにおけるエネルギー効率の高い実装により、従来のニューラルネットワーク(ann)に代わる興味深い選択肢となっている。
しかし、snsの訓練にかかわる課題は、その正確性と応用の観点から、その性能を制限している。
したがって、より正確な特徴抽出のための学習アルゴリズムとニューラルネットワークの改善は、SNN研究における現在の優先事項の1つである。
本稿では,現代のスパイク建築の鍵となる構成要素について述べる。
ベストパフォーマンスネットワークから抽出した画像分類データセットの異なる手法を実証的に比較する。
我々は、成功しているresnet(resnet)アーキテクチャのスパイクバージョンを設計し、さまざまなコンポーネントとトレーニング戦略をテストする。
本研究は,SNN設計の最先端技術を提供し,最適な視覚特徴抽出器を構築する際の情報選択を可能にした。
最後に、我々のネットワークはCIFAR-10(94.1%)とCIFAR-100(74.5%)のデータセットで以前のSNNアーキテクチャよりも優れており、DVS-CIFAR10(71.3%)の最先端と一致する。
コードはhttps://github.com/VicenteAlex/Spiking_ResNetで公開されている。
関連論文リスト
- Optimizing Convolutional Neural Network Architecture [0.0]
畳み込みニューラルネットワーク(CNN)は、音声認識や自然言語処理、コンピュータビジョンといった課題に直面するために広く使われている。
我々は,プルーニングと知識蒸留に基づく新しいCNN最適化と構築手法であるOCNNAを提案する。
提案手法は,20以上の畳み込みニューラルネットワークの単純化アルゴリズムと比較し,優れた結果を得た。
論文 参考訳(メタデータ) (2023-12-17T12:23:11Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
ENCAS - Evolutionary Neural Cascade Searchを紹介する。
ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。
我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
論文 参考訳(メタデータ) (2022-03-08T11:06:01Z) - Neural Architecture Search for Spiking Neural Networks [10.303676184878896]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。
従来のSNN手法のほとんどはANNのようなアーキテクチャを使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。
より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。
論文 参考訳(メタデータ) (2022-01-23T16:34:27Z) - Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking
Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。
SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う
そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-12-22T18:47:45Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - Going Deeper With Directly-Trained Larger Spiking Neural Networks [20.40894876501739]
スパイキングニューラルネットワーク(SNN)は、バイオユースブルな情報とイベント駆動信号処理のためのコーディングを約束している。
しかし、SNNのユニークな動作モードにより、従来のネットワークよりもトレーニングが困難になる。
CIF依存型バッチ正規化法(tpladBN)を提案する。
論文 参考訳(メタデータ) (2020-10-29T07:15:52Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳(メタデータ) (2020-06-03T15:55:53Z) - Convolutional Spiking Neural Networks for Spatio-Temporal Feature
Extraction [3.9898522485253256]
スパイキングニューラルネットワーク(SNN)は低消費電力および組み込みシステムで使用できる。
畳み込みニューラルネットワークやその他の種類のSNNの層における時間符号化はまだ研究されていない。
現実世界の問題に対処するための,新たな深層スパイクアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T11:58:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。