論文の概要: LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization
- arxiv url: http://arxiv.org/abs/2401.14652v1
- Date: Fri, 26 Jan 2024 05:23:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 15:50:04.145186
- Title: LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization
- Title(参考訳): LitE-SNN:空間時間圧縮型ネットワーク探索と共同最適化による軽量で効率的なスパイクニューラルネットワークの設計
- Authors: Qianhui Liu, Jiaqi Yan, Malu Zhang, Gang Pan, Haizhou Li
- Abstract要約: スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
- 参考スコア(独自算出の注目度): 51.9395471326897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) mimic the information-processing mechanisms of
the human brain and are highly energy-efficient, making them well-suited for
low-power edge devices. However, the pursuit of accuracy in current studies
leads to large, long-timestep SNNs, conflicting with the resource constraints
of these devices. In order to design lightweight and efficient SNNs, we propose
a new approach named LitESNN that incorporates both spatial and temporal
compression into the automated network design process. Spatially, we present a
novel Compressive Convolution block (CompConv) to expand the search space to
support pruning and mixed-precision quantization while utilizing the shared
weights and pruning mask to reduce the computation. Temporally, we are the
first to propose a compressive timestep search to identify the optimal number
of timesteps under specific computation cost constraints. Finally, we formulate
a joint optimization to simultaneously learn the architecture parameters and
spatial-temporal compression strategies to achieve high performance while
minimizing memory and computation costs. Experimental results on CIFAR10,
CIFAR100, and Google Speech Command datasets demonstrate our proposed LitESNNs
can achieve competitive or even higher accuracy with remarkably smaller model
sizes and fewer computation costs. Furthermore, we validate the effectiveness
of our LitESNN on the trade-off between accuracy and resource cost and show the
superiority of our joint optimization. Additionally, we conduct energy analysis
to further confirm the energy efficiency of LitESNN
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高く、低消費電力エッジデバイスに適している。
しかし、現在の研究における精度の追求は、これらの機器のリソース制約と相反する大きな長時間ステップsnsをもたらす。
軽量で効率的なSNNを設計するために、空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込んだLitESNNという新しいアプローチを提案する。
本稿では,共有重みとプルーニングマスクを用いて探索空間を拡大し,探索量と混合精度の量子化を支援するための新しい圧縮畳み込みブロック(CompConv)を提案する。
我々は,特定の計算コスト制約下で最適な時間ステップ数を同定するための圧縮時間ステップ探索を提案する。
最後に,アーキテクチャパラメータと時空間圧縮戦略を同時に学習し,メモリと計算コストを最小化しながら高い性能を実現するための共同最適化を行う。
CIFAR10、CIFAR100、Google Speech Commandデータセットの実験結果から、提案したLitESNNは、モデルサイズが著しく小さく、計算コストも少なくて、競争力や精度が向上することを示した。
さらに,精度と資源コストのトレードオフに対するLitESNNの有効性を検証するとともに,共同最適化の優位性を示す。
さらに, litesnnのエネルギー効率をさらに確認するために, エネルギー分析を行う。
関連論文リスト
- Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision
Quantization [1.0235078178220354]
本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。
われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2023-12-23T18:50:13Z) - Resource Constrained Model Compression via Minimax Optimization for
Spiking Neural Networks [11.19282454437627]
スパイキングニューラルネットワーク(SNN)は、イベント駆動型および高エネルギー効率ネットワークの特徴を持つ。
これらのネットワークをリソース制限されたエッジデバイスに直接展開することは困難である。
本稿では,このスパース学習問題に対するエンドツーエンドの Minimax 最適化手法を提案する。
論文 参考訳(メタデータ) (2023-08-09T02:50:15Z) - Input-Aware Dynamic Timestep Spiking Neural Networks for Efficient
In-Memory Computing [7.738130109655604]
Spiking Neural Networks (SNN) はスパースとバイナリスパイク情報を処理できることから、広く研究の関心を集めている。
IMCハードウェアで使用される時間ステップの数に応じて,SNNのエネルギーコストとレイテンシが線形にスケールすることを示す。
入力対応動的時間ステップSNN(DT-SNN)を提案し,SNNの効率を最大化する。
論文 参考訳(メタデータ) (2023-05-27T03:01:27Z) - TopSpark: A Timestep Optimization Methodology for Energy-Efficient
Spiking Neural Networks on Autonomous Mobile Agents [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパース計算と効率的なオンライン学習による低消費電力/エネルギー処理を提供する。
TopSparkは、適応タイムステップの削減を利用して、トレーニングと推論の両方でエネルギー効率の良いSNN処理を可能にする新しい手法である。
論文 参考訳(メタデータ) (2023-03-03T10:20:45Z) - The Hardware Impact of Quantization and Pruning for Weights in Spiking
Neural Networks [0.368986335765876]
パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。
本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。
本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
論文 参考訳(メタデータ) (2023-02-08T16:25:20Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2020-09-29T11:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。