論文の概要: Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2111.05955v2
• Date: Fri, 12 Nov 2021 09:26:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-15 11:24:49.580442
• Title: Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks
• Title（参考訳）: 残留スパイクニューラルネットワークを用いた高精度特徴抽出のための鍵
• Authors: Alex Vicente-Sola, Davide L. Manna, Paul Kirkland, Gaetano Di Caterina, Trevor Bihl
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった 本稿では,現代のスパイク建築の鍵となる構成要素について述べる。 我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
• 参考スコア（独自算出の注目度）: 1.101002667958165
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Spiking neural networks (SNNs) have become an interesting alternative to conventional artificial neural networks (ANN) thanks to their temporal processing capabilities and their low-SWaP (Size, Weight, and Power) and energy efficient implementations in neuromorphic hardware. However the challenges involved in training SNNs have limited their performance in terms of accuracy and thus their applications. Improving learning algorithms and neural architectures for a more accurate feature extraction is therefore one of the current priorities in SNN research. In this paper we present a study on the key components of modern spiking architectures. We empirically compare different techniques in image classification datasets taken from the best performing networks. We design a spiking version of the successful residual network (ResNet) architecture and test different components and training strategies on it. Our results provide a state of the art guide to SNN design, which allows to make informed choices when trying to build the optimal visual feature extractor. Finally, our network outperforms previous SNN architectures in CIFAR-10 (94.1%) and CIFAR-100 (74.5%) datasets and matches the state of the art in DVS-CIFAR10 (71.3%), with less parameters than the previous state of the art and without the need for ANN-SNN conversion. Code available at https://github.com/VicenteAlex/Spiking_ResNet.
• Abstract（参考訳）: スパイキングニューラルネットワーク(snn)は、その時間的処理能力と低スワップ(サイズ、重量、パワー)、およびニューロモルフィックハードウェアにおけるエネルギー効率の高い実装により、従来のニューラルネットワーク(ann)に代わる興味深い選択肢となっている。 しかし、snsの訓練にかかわる課題は、その正確性と応用の観点から、その性能を制限している。 したがって、より正確な特徴抽出のための学習アルゴリズムとニューラルネットワークの改善は、SNN研究における現在の優先事項の1つである。 本稿では,現代のスパイク建築の鍵となる構成要素について述べる。 ベストパフォーマンスネットワークから抽出した画像分類データセットの異なる手法を実証的に比較する。 我々は、成功しているresnet(resnet)アーキテクチャのスパイクバージョンを設計し、さまざまなコンポーネントとトレーニング戦略をテストする。 本研究は,SNN設計の最先端技術を提供し,最適な視覚特徴抽出器を構築する際の情報選択を可能にした。 最後に、我々のネットワークはCIFAR-10(94.1%)とCIFAR-100(74.5%)のデータセットで以前のSNNアーキテクチャよりも優れており、DVS-CIFAR10(71.3%)の最先端と一致する。 コードはhttps://github.com/VicenteAlex/Spiking_ResNetで公開されている。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Investigating Sparsity in Recurrent Neural Networks [0.0]
  本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。 まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。 次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
  論文  参考訳（メタデータ） (2024-07-30T07:24:58Z)
• Optimizing Convolutional Neural Network Architecture [0.0]
  畳み込みニューラルネットワーク(CNN)は、音声認識や自然言語処理、コンピュータビジョンといった課題に直面するために広く使われている。 我々は,プルーニングと知識蒸留に基づく新しいCNN最適化と構築手法であるOCNNAを提案する。 提案手法は,20以上の畳み込みニューラルネットワークの単純化アルゴリズムと比較し,優れた結果を得た。
  論文  参考訳（メタデータ） (2023-12-17T12:23:11Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Neural Architecture Search for Spiking Neural Networks [10.303676184878896]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。 従来のSNN手法のほとんどはANNのようなアーキテクチャを使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。 より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-23T16:34:27Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Going Deeper With Directly-Trained Larger Spiking Neural Networks [20.40894876501739]
  スパイキングニューラルネットワーク(SNN)は、バイオユースブルな情報とイベント駆動信号処理のためのコーディングを約束している。 しかし、SNNのユニークな動作モードにより、従来のネットワークよりもトレーニングが困難になる。 CIF依存型バッチ正規化法(tpladBN)を提案する。
  論文  参考訳（メタデータ） (2020-10-29T07:15:52Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Convolutional Spiking Neural Networks for Spatio-Temporal Feature Extraction [3.9898522485253256]
  スパイキングニューラルネットワーク(SNN)は低消費電力および組み込みシステムで使用できる。 畳み込みニューラルネットワークやその他の種類のSNNの層における時間符号化はまだ研究されていない。 現実世界の問題に対処するための,新たな深層スパイクアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T11:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。