論文の概要: Neural Architecture Search for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2201.10355v1
• Date: Sun, 23 Jan 2022 16:34:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 11:26:59.132435
• Title: Neural Architecture Search for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークのためのニューラルアーキテクチャ探索
• Authors: Youngeun Kim, Yuhang Li, Hyoungseob Park, Yeshwanth Venkatesha, Priyadarshini Panda
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。 従来のSNN手法のほとんどはANNのようなアーキテクチャを使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。 より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。
• 参考スコア（独自算出の注目度）: 10.303676184878896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) have gained huge attention as a potential energy-efficient alternative to conventional Artificial Neural Networks (ANNs) due to their inherent high-sparsity activation. However, most prior SNN methods use ANN-like architectures (e.g., VGG-Net or ResNet), which could provide sub-optimal performance for temporal sequence processing of binary information in SNNs. To address this, in this paper, we introduce a novel Neural Architecture Search (NAS) approach for finding better SNN architectures. Inspired by recent NAS approaches that find the optimal architecture from activation patterns at initialization, we select the architecture that can represent diverse spike activation patterns across different data samples without training. Furthermore, to leverage the temporal correlation among the spikes, we search for feed forward connections as well as backward connections (i.e., temporal feedback connections) between layers. Interestingly, SNASNet found by our search algorithm achieves higher performance with backward connections, demonstrating the importance of designing SNN architecture for suitably using temporal information. We conduct extensive experiments on three image recognition benchmarks where we show that SNASNet achieves state-of-the-art performance with significantly lower timesteps (5 timesteps).
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替品として注目されている。 しかし、以前のSNN手法ではANNのようなアーキテクチャ(VGG-NetやResNetなど)を使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。 そこで本稿では,より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。 初期化時のアクティベーションパターンから最適なアーキテクチャを求める最近のNASアプローチに着想を得て、トレーニングなしで異なるデータサンプル間で多様なスパイクアクティベーションパターンを表現できるアーキテクチャを選択する。 さらに,スパイク間の時間的相関性を活用するために,レイヤ間の後方接続(つまり時間的フィードバック接続)と同様にフィードフォワード接続を探索する。 興味深いことに,検索アルゴリズムによって発見されたSNASNetは,時間的情報の利用に適したSNNアーキテクチャの設計の重要性を示す。 我々は3つの画像認識ベンチマークで広範囲に実験を行い、SNASNetが時間ステップ(5時間ステップ)を大幅に短縮して最先端の性能を達成することを示す。

関連論文リスト

• Spatial-Temporal Search for Spiking Neural Networks [32.937536365872745]
  スパイキングニューラルネットワーク(SNN)は、次世代人工知能の潜在的な候補と考えられている。 空間次元と時間次元の両方でSNNを最適化するための微分可能なアプローチを提案する。 本手法は,96.43%,78.96%,70.21%の精度でCIFAR10/100とImageNetの分類性能を比較検討した。
  論文  参考訳（メタデータ） (2024-10-24T09:32:51Z)
• Advancing Spiking Neural Networks towards Multiscale Spatiotemporal Interaction Learning [10.702093960098106]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)のエネルギー効率の良い代替品として機能する 我々は、マルチスケールの時間的相互作用情報をキャプチャするスパイキング・マルチスケール・アテンション(SMA)モジュールを設計した。 われわれのアプローチは、主流のニューラルネットワークで最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-05-22T14:16:05Z)
• Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する 本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-05-06T09:58:54Z)
• Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
  スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。 本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。 提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
  論文  参考訳（メタデータ） (2024-04-26T22:52:23Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks [1.101002667958165]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった 本稿では,現代のスパイク建築の鍵となる構成要素について述べる。 我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
  論文  参考訳（メタデータ） (2021-11-10T21:29:19Z)
• Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
  本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。 まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。 我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-10-27T18:08:57Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。