論文の概要: LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization
- arxiv url: http://arxiv.org/abs/2401.14652v1
- Date: Fri, 26 Jan 2024 05:23:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 15:50:04.145186
- Title: LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization
- Title（参考訳）: LitE-SNN:空間時間圧縮型ネットワーク探索と共同最適化による軽量で効率的なスパイクニューラルネットワークの設計
- Authors: Qianhui Liu, Jiaqi Yan, Malu Zhang, Gang Pan, Haizhou Li
- Abstract要約: スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 51.9395471326897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) mimic the information-processing mechanisms of
the human brain and are highly energy-efficient, making them well-suited for
low-power edge devices. However, the pursuit of accuracy in current studies
leads to large, long-timestep SNNs, conflicting with the resource constraints
of these devices. In order to design lightweight and efficient SNNs, we propose
a new approach named LitESNN that incorporates both spatial and temporal
compression into the automated network design process. Spatially, we present a
novel Compressive Convolution block (CompConv) to expand the search space to
support pruning and mixed-precision quantization while utilizing the shared
weights and pruning mask to reduce the computation. Temporally, we are the
first to propose a compressive timestep search to identify the optimal number
of timesteps under specific computation cost constraints. Finally, we formulate
a joint optimization to simultaneously learn the architecture parameters and
spatial-temporal compression strategies to achieve high performance while
minimizing memory and computation costs. Experimental results on CIFAR10,
CIFAR100, and Google Speech Command datasets demonstrate our proposed LitESNNs
can achieve competitive or even higher accuracy with remarkably smaller model
sizes and fewer computation costs. Furthermore, we validate the effectiveness
of our LitESNN on the trade-off between accuracy and resource cost and show the
superiority of our joint optimization. Additionally, we conduct energy analysis
to further confirm the energy efficiency of LitESNN
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高く、低消費電力エッジデバイスに適している。
しかし、現在の研究における精度の追求は、これらの機器のリソース制約と相反する大きな長時間ステップsnsをもたらす。
軽量で効率的なSNNを設計するために、空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込んだLitESNNという新しいアプローチを提案する。
本稿では,共有重みとプルーニングマスクを用いて探索空間を拡大し,探索量と混合精度の量子化を支援するための新しい圧縮畳み込みブロック(CompConv)を提案する。
我々は,特定の計算コスト制約下で最適な時間ステップ数を同定するための圧縮時間ステップ探索を提案する。
最後に,アーキテクチャパラメータと時空間圧縮戦略を同時に学習し,メモリと計算コストを最小化しながら高い性能を実現するための共同最適化を行う。
CIFAR10、CIFAR100、Google Speech Commandデータセットの実験結果から、提案したLitESNNは、モデルサイズが著しく小さく、計算コストも少なくて、競争力や精度が向上することを示した。
さらに,精度と資源コストのトレードオフに対するLitESNNの有効性を検証するとともに,共同最適化の優位性を示す。
さらに, litesnnのエネルギー効率をさらに確認するために, エネルギー分析を行う。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Q-SNNs: Quantized Spiking Neural Networks [12.719590949933105]
スパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、イベント駆動方式で処理する。
シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子化SNNを提案する。
本稿では,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。
論文 参考訳（メタデータ） (2024-06-19T16:23:26Z) - Parallel Hyperparameter Optimization Of Spiking Neural Network [0.5371337604556311]
スパイキングニューラルネットワーク(SNN)は、通常の人工ニューラルネットワークよりも生物学的にインスパイアされたアプローチに基づいている。
我々は、サイレントネットワークと呼ぶSNNの信号損失問題に取り組む。
早期停止基準を定義することで、我々はより大きく柔軟な検索空間をインスタンス化することができた。
論文 参考訳（メタデータ） (2024-03-01T11:11:59Z) - Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision
Quantization [1.0235078178220354]
本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。
われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2023-12-23T18:50:13Z) - Resource Constrained Model Compression via Minimax Optimization for
Spiking Neural Networks [11.19282454437627]
スパイキングニューラルネットワーク(SNN)は、イベント駆動型および高エネルギー効率ネットワークの特徴を持つ。
これらのネットワークをリソース制限されたエッジデバイスに直接展開することは困難である。
本稿では,このスパース学習問題に対するエンドツーエンドの Minimax 最適化手法を提案する。
論文 参考訳（メタデータ） (2023-08-09T02:50:15Z) - Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。
本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
論文 参考訳（メタデータ） (2023-05-23T14:31:52Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。