論文の概要: HASNAS: A Hardware-Aware Spiking Neural Architecture Search Framework for Neuromorphic Compute-in-Memory Systems
- arxiv url: http://arxiv.org/abs/2407.00641v1
- Date: Sun, 30 Jun 2024 09:51:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 02:17:05.174925
- Title: HASNAS: A Hardware-Aware Spiking Neural Architecture Search Framework for Neuromorphic Compute-in-Memory Systems
- Title（参考訳）: HASNAS:ニューロモルフィック・コンピュート・イン・メモリシステムのためのハードウェア対応スパイクニューラルネットワーク検索フレームワーク
- Authors: Rachmad Vidya Wicaksana Putra, Muhammad Shafique,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、超低消費電力/エネルギー計算で多様な機械学習タスクを解く能力を示している。
ニューロモルフィックCIMシステムのための新しいハードウェア対応スパイクニューラルネットワーク探索フレームワークであるHASNASを提案する。
- 参考スコア（独自算出の注目度）: 6.006032394972252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) have shown capabilities for solving diverse machine learning tasks with ultra-low-power/energy computation. To further improve the performance and efficiency of SNN inference, the Compute-in-Memory (CIM) paradigm with emerging device technologies such as resistive random access memory is employed. However, most of SNN architectures are developed without considering constraints from the application and the underlying CIM hardware (e.g., memory, area, latency, and energy consumption). Moreover, most of SNN designs are derived from the Artificial Neural Networks, whose network operations are different from SNNs. These limitations hinder SNNs from reaching their full potential in accuracy and efficiency. Toward this, we propose HASNAS, a novel hardware-aware spiking neural architecture search (NAS) framework for neuromorphic CIM systems that finds an SNN that offers high accuracy under the given memory, area, latency, and energy constraints. To achieve this, HASNAS employs the following key steps: (1) optimizing SNN operations to achieve high accuracy, (2) developing an SNN architecture that facilitates an effective learning process, and (3) devising a systematic hardware-aware search algorithm to meet the constraints. The experimental results show that our HASNAS quickly finds an SNN that maintains high accuracy compared to the state-of-the-art by up to 11x speed-up, and meets the given constraints: 4x10^6 parameters of memory, 100mm^2 of area, 400ms of latency, and 120uJ energy consumption for CIFAR10 and CIFAR100; while the state-of-the-art fails to meet the constraints. In this manner, our HASNAS can enable efficient design automation for providing high-performance and energy-efficient neuromorphic CIM systems for diverse applications.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、超低消費電力/エネルギー計算で多様な機械学習タスクを解く能力を示している。
SNN推論の性能と効率をさらに向上させるために、抵抗性ランダムアクセスメモリなどの新興デバイス技術を用いたCompute-in-Memory(CIM)パラダイムが採用されている。
しかしながら、ほとんどのSNNアーキテクチャは、アプリケーションと基盤となるCIMハードウェア(例えば、メモリ、領域、レイテンシ、エネルギー消費)の制約を考慮せずに開発されている。
さらに、SNNの設計のほとんどは、SNNとは異なるネットワーク操作を持つArtificial Neural Networksから派生している。
これらの制限により、SNNは正確性と効率性において大きな可能性を秘めている。
そこで本研究では,ニューロモルフィックCIMシステムのための新しいハードウェア対応スパイクニューラルネットワーク探索(NAS)フレームワークであるHASNASを提案する。
そこでHASNASでは,(1)高精度にSNN操作を最適化し,(2)効果的な学習プロセスを容易にするSNNアーキテクチャを開発し,(3)制約を満たすためのハードウェア対応検索アルゴリズムを設計する。
実験結果から,HASNASは最大11倍の精度で,メモリの4x10^6パラメータ,100mm^2の領域,400msのレイテンシ,120uJのCIFAR10とCIFAR100のエネルギー消費といった制約を満たすSNNを迅速に見つけることができた。
このようにして、HASNASは、多種多様な用途に高性能でエネルギー効率の良いニューロモルフィックCIMシステムを提供するための効率的な設計自動化を可能にする。
関連論文リスト
- SpikeNAS: A Fast Memory-Aware Neural Architecture Search Framework for Spiking Neural Network-based Autonomous Agents [6.006032394972252]
スパイキングニューラルネットワークは、高精度で超低消費電力/エネルギー計算を提供する。
SpikeNASは、SNNのための新しい高速メモリ対応ニューラルアーキテクチャ検索フレームワークである。
その結果,SpikeNASは検索時間を改善するとともに,最先端技術と比較して精度が向上していることがわかった。
論文 参考訳（メタデータ） (2024-02-17T16:33:54Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-26T05:23:11Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - SpikeSim: An end-to-end Compute-in-Memory Hardware Evaluation Tool for
Benchmarking Spiking Neural Networks [4.0300632886917]
SpikeSimは、IMCマップされたSNNの現実的なパフォーマンス、エネルギ、レイテンシ、領域評価を実現するツールである。
神経モジュールの面積の1.24倍と10倍に減少するSNNトポロジカルな変化と全エネルギー・遅延生成値を提案する。
論文 参考訳（メタデータ） (2022-10-24T01:07:17Z) - RoHNAS: A Neural Architecture Search Framework with Conjoint
Optimization for Adversarial Robustness and Hardware Efficiency of
Convolutional and Capsule Networks [10.946374356026679]
RoHNASは、Deep Neural Network(DNN)の対向ロバスト性とハードウェア効率を共同で最適化する新しいフレームワークである。
探索時間を短縮するため、RoHNASはNASフローで使用するデータセット毎に、逆摂動の適切な値を分析し、選択する。
論文 参考訳（メタデータ） (2022-10-11T09:14:56Z) - Energy-Efficient Deployment of Machine Learning Workloads on
Neuromorphic Hardware [0.11744028458220425]
ディープラーニングハードウェアアクセラレータがいくつかリリースされ、ディープニューラルネットワーク(DNN)が消費する電力と面積の削減に特化している。
個別の時系列データで動作するスパイクニューラルネットワーク(SNN)は、特殊なニューロモルフィックイベントベース/非同期ハードウェアにデプロイすると、大幅な電力削減を実現することが示されている。
本研究では,事前学習したDNNをSNNに変換するための一般的なガイドを提供するとともに,ニューロモルフィックハードウェア上でのSNNの展開を改善するためのテクニックも提示する。
論文 参考訳（メタデータ） (2022-10-10T20:27:19Z) - A Resource-efficient Spiking Neural Network Accelerator Supporting
Emerging Neural Encoding [6.047137174639418]
スパイキングニューラルネットワーク(SNN)は、その低消費電力乗算自由コンピューティングにより、最近勢いを増している。
SNNは、大規模なモデルのための人工知能ニューラルネットワーク(ANN)と同様の精度に達するために、非常に長いスパイク列車(1000台まで)を必要とする。
ニューラルエンコーディングでSNNを効率的にサポートできる新しいハードウェアアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-06-06T10:56:25Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。