論文の概要: Neural Architecture Search for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2201.10355v1
- Date: Sun, 23 Jan 2022 16:34:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 11:26:59.132435
- Title: Neural Architecture Search for Spiking Neural Networks
- Title(参考訳): スパイクニューラルネットワークのためのニューラルアーキテクチャ探索
- Authors: Youngeun Kim, Yuhang Li, Hyoungseob Park, Yeshwanth Venkatesha,
Priyadarshini Panda
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。
従来のSNN手法のほとんどはANNのようなアーキテクチャを使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。
より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。
- 参考スコア(独自算出の注目度): 10.303676184878896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking Neural Networks (SNNs) have gained huge attention as a potential
energy-efficient alternative to conventional Artificial Neural Networks (ANNs)
due to their inherent high-sparsity activation. However, most prior SNN methods
use ANN-like architectures (e.g., VGG-Net or ResNet), which could provide
sub-optimal performance for temporal sequence processing of binary information
in SNNs. To address this, in this paper, we introduce a novel Neural
Architecture Search (NAS) approach for finding better SNN architectures.
Inspired by recent NAS approaches that find the optimal architecture from
activation patterns at initialization, we select the architecture that can
represent diverse spike activation patterns across different data samples
without training. Furthermore, to leverage the temporal correlation among the
spikes, we search for feed forward connections as well as backward connections
(i.e., temporal feedback connections) between layers. Interestingly, SNASNet
found by our search algorithm achieves higher performance with backward
connections, demonstrating the importance of designing SNN architecture for
suitably using temporal information. We conduct extensive experiments on three
image recognition benchmarks where we show that SNASNet achieves
state-of-the-art performance with significantly lower timesteps (5 timesteps).
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替品として注目されている。
しかし、以前のSNN手法ではANNのようなアーキテクチャ(VGG-NetやResNetなど)を使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。
そこで本稿では,より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。
初期化時のアクティベーションパターンから最適なアーキテクチャを求める最近のNASアプローチに着想を得て、トレーニングなしで異なるデータサンプル間で多様なスパイクアクティベーションパターンを表現できるアーキテクチャを選択する。
さらに,スパイク間の時間的相関性を活用するために,レイヤ間の後方接続(つまり時間的フィードバック接続)と同様にフィードフォワード接続を探索する。
興味深いことに,検索アルゴリズムによって発見されたSNASNetは,時間的情報の利用に適したSNNアーキテクチャの設計の重要性を示す。
我々は3つの画像認識ベンチマークで広範囲に実験を行い、SNASNetが時間ステップ(5時間ステップ)を大幅に短縮して最先端の性能を達成することを示す。
関連論文リスト
- DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳(メタデータ) (2023-06-27T11:28:29Z) - Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical
Flow Estimation [4.7519630770389405]
非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、イベントデータからフェールテンポラリな特徴を抽出する大きな可能性を示す。
しかし、トレーニング可能なパラメータの追加、深層での消滅、微分不可能なバイナリアクティベーション機能などにより、SNNのトレーニングは困難である。
本稿では,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-06-05T15:26:02Z) - Do Not Train It: A Linear Neural Architecture Search of Graph Neural
Networks [15.823247346294089]
ニューラルアーキテクチャコーディング(NAC)という新しいNAS-GNN法を開発した。
当社のアプローチでは,最先端のパフォーマンスを実現しています。そのパフォーマンスは,強いベースラインよりも200倍高速で,18.8%の精度で実現しています。
論文 参考訳(メタデータ) (2023-05-23T13:44:04Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - Keys to Accurate Feature Extraction Using Residual Spiking Neural
Networks [1.101002667958165]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった
本稿では,現代のスパイク建築の鍵となる構成要素について述べる。
我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
論文 参考訳(メタデータ) (2021-11-10T21:29:19Z) - Going Deeper With Directly-Trained Larger Spiking Neural Networks [20.40894876501739]
スパイキングニューラルネットワーク(SNN)は、バイオユースブルな情報とイベント駆動信号処理のためのコーディングを約束している。
しかし、SNNのユニークな動作モードにより、従来のネットワークよりもトレーニングが困難になる。
CIF依存型バッチ正規化法(tpladBN)を提案する。
論文 参考訳(メタデータ) (2020-10-29T07:15:52Z) - Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。
まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。
我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
論文 参考訳(メタデータ) (2020-10-27T18:08:57Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2020-09-29T11:56:01Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z) - SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object
Tracking [20.595208488431766]
SiamSNNは、視覚オブジェクト追跡ベンチマークであるTB2013, VOT2016, GOT-10kにおいて、短いレイテンシと低い精度の損失を達成する最初のディープSNNトラッカーである。
SiamSNNは、ニューロモルフィックチップTrueNorth上で低エネルギー消費とリアルタイムを実現する。
論文 参考訳(メタデータ) (2020-03-17T08:49:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。