論文の概要: LightSNN: Lightweight Architecture Search for Sparse and Accurate Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2503.21846v1
• Date: Thu, 27 Mar 2025 16:38:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:32:42.385818
• Title: LightSNN: Lightweight Architecture Search for Sparse and Accurate Spiking Neural Networks
• Title（参考訳）: LightSNN: スパースと精度の高いスパイクニューラルネットワークのための軽量アーキテクチャ検索
• Authors: Yesmine Abdennadher, Giovanni Perin, Riccardo Mazzieri, Jacopo Pegoraro, Michele Rossi,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率、固有の活性化空間、エッジデバイスにおけるリアルタイム処理に適していると高く評価されている。 現在のSNN手法の多くは、従来の人工知能ニューラルネットワーク(ANN)に似たアーキテクチャを採用しており、SNNに適用した場合、最適以下の性能が得られる。 本稿では,高速かつ効率的なニューラルネットワークアーキテクチャ探索(NAS)技術であるLightSNNについて述べる。
• 参考スコア（独自算出の注目度）: 1.0485739694839666
• License:
• Abstract: Spiking Neural Networks (SNNs) are highly regarded for their energy efficiency, inherent activation sparsity, and suitability for real-time processing in edge devices. However, most current SNN methods adopt architectures resembling traditional artificial neural networks (ANNs), leading to suboptimal performance when applied to SNNs. While SNNs excel in energy efficiency, they have been associated with lower accuracy levels than traditional ANNs when utilizing conventional architectures. In response, in this work we present LightSNN, a rapid and efficient Neural Network Architecture Search (NAS) technique specifically tailored for SNNs that autonomously leverages the most suitable architecture, striking a good balance between accuracy and efficiency by enforcing sparsity. Based on the spiking NAS network (SNASNet) framework, a cell-based search space including backward connections is utilized to build our training-free pruning-based NAS mechanism. Our technique assesses diverse spike activation patterns across different data samples using a sparsity-aware Hamming distance fitness evaluation. Thorough experiments are conducted on both static (CIFAR10 and CIFAR100) and neuromorphic datasets (DVS128-Gesture). Our LightSNN model achieves state-of-the-art results on CIFAR10 and CIFAR100, improves performance on DVS128Gesture by 4.49%, and significantly reduces search time, most notably offering a 98x speedup over SNASNet and running 30% faster than the best existing method on DVS128Gesture.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率、固有の活性化空間、エッジデバイスにおけるリアルタイム処理に適していると高く評価されている。 しかし、現在のSNN手法の多くは、従来の人工知能ニューラルネットワーク(ANN)に似たアーキテクチャを採用しており、SNNに適用した場合、最適以下の性能が得られる。 SNNはエネルギー効率が優れているが、従来のANNよりも精度が低い。 本研究では、最も適切なアーキテクチャを自律的に活用するSNNに特化して設計された、迅速かつ効率的なニューラルネットワークアーキテクチャ探索(NAS)技術であるLightSNNを紹介する。 スパイクNASネットワーク (SNASNet) をベースとして, 後方接続を含むセルベースの検索空間を用いて, トレーニング不要のPruning-based NAS機構を構築した。 本手法は,ハミング距離適合度評価を用いて,異なるデータサンプル間の多様なスパイクアクティベーションパターンを評価する。 静的 (CIFAR10 と CIFAR100) とニューロモルフィックデータセット (DVS128-Gesture) の両方で詳細な実験が行われた。 我々のLightSNNモデルは、CIFAR10とCIFAR100の最先端結果を実現し、DVS128Gestureのパフォーマンスを4.49%改善し、検索時間を著しく短縮する。

関連論文リスト

• Spatial-Temporal Search for Spiking Neural Networks [32.937536365872745]
  スパイキングニューラルネットワーク(SNN)は、次世代人工知能の潜在的な候補と考えられている。 空間次元と時間次元の両方でSNNを最適化するための微分可能なアプローチを提案する。 本手法は,96.43%,78.96%,70.21%の精度でCIFAR10/100とImageNetの分類性能を比較検討した。
  論文  参考訳（メタデータ） (2024-10-24T09:32:51Z)
• Reconsidering the energy efficiency of spiking neural networks [4.37952937111446]
  スパイキングニューラルネットワーク(SNN)は乗算を使わないため、一般的にエネルギー効率が高いと考えられている。 ハードウェアの観点から,ニューラルネットワーク(ANN)とSNNのエネルギー消費の比較を行った。
  論文  参考訳（メタデータ） (2024-08-29T07:00:35Z)
• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Neural Architecture Search for Spiking Neural Networks [10.303676184878896]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。 従来のSNN手法のほとんどはANNのようなアーキテクチャを使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。 より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-23T16:34:27Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks [1.101002667958165]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった 本稿では,現代のスパイク建築の鍵となる構成要素について述べる。 我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
  論文  参考訳（メタデータ） (2021-11-10T21:29:19Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。