論文の概要: NeuroNAS: A Framework for Energy-Efficient Neuromorphic Compute-in-Memory Systems using Hardware-Aware Spiking Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2407.00641v2
• Date: Fri, 06 Dec 2024 08:35:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:45.346042
• Title: NeuroNAS: A Framework for Energy-Efficient Neuromorphic Compute-in-Memory Systems using Hardware-Aware Spiking Neural Architecture Search
• Title（参考訳）: NeuroNAS: ハードウェア対応スパイクニューラルアーキテクチャサーチを用いたエネルギー効率の良いニューロモルフィック・コンピュート・イン・メモリシステムのためのフレームワーク
• Authors: Rachmad Vidya Wicaksana Putra, Muhammad Shafique,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、超低電力/エネルギー消費で多様な機械学習タスクを解く能力を実証している。 SNN推論の性能と効率を最大化するために、Compute-in-Memory(CIM)ハードウェアアクセラレータが採用されている。 我々はエネルギー効率の良いニューロモルフィックCIMシステムを開発するための新しいフレームワークであるNeuroNASを提案する。
• 参考スコア（独自算出の注目度）: 6.006032394972252
• License:
• Abstract: Spiking Neural Networks (SNNs) have demonstrated capabilities for solving diverse machine learning tasks with ultra-low power/energy consumption. To maximize the performance and efficiency of SNN inference, the Compute-in-Memory (CIM) hardware accelerators with emerging device technologies (e.g., RRAM) have been employed. However, SNN architectures are typically developed without considering constraints from the application and the underlying CIM hardware, thereby hindering SNNs from reaching their full potential in accuracy and efficiency. To address this, we propose NeuroNAS, a novel framework for developing energy-efficient neuromorphic CIM systems using a hardware-aware spiking neural architecture search (NAS), i.e., by quickly finding an SNN architecture that offers high accuracy under the given constraints (e.g., memory, area, latency, and energy consumption). NeuroNAS employs the following key steps: (1) optimizing SNN operations to enable efficient NAS, (2) employing quantization to minimize the memory footprint, (3) developing an SNN architecture that facilitates an effective learning, and (4) devising a systematic hardware-aware search algorithm to meet the constraints. Compared to the state-of-the-art, NeuroNAS with 8bit weight precision quickly finds SNNs that maintain high accuracy by up to 6.6x search time speed-ups, while achieving up to 92% area savings, 1.2x latency speed-ups, 84% energy savings across CIFAR-10, CIFAR-100, and TinyImageNet-200 datasets; while the state-of-the-art fail to meet all constraints at once. In this manner, NeuroNAS enables efficient design automation in developing energy-efficient neuromorphic CIM systems for diverse ML-based applications.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、超低電力/エネルギー消費で多様な機械学習タスクを解く能力を実証している。 SNN推論の性能と効率を最大化するために、新しいデバイス技術(例えばRRAM)を搭載したCompute-in-Memory(CIM)ハードウェアアクセラレータが採用されている。 しかしながら、SNNアーキテクチャは通常、アプリケーションと基盤となるCIMハードウェアからの制約を考慮せずに開発され、それによってSNNが精度と効率の完全なポテンシャルに到達するのを妨げている。 この問題を解決するために,ハードウェア対応のスパイクニューラルネットワークサーチ(NAS)を用いたエネルギー効率の高いニューロモルフィックCIMシステムを開発するための新しいフレームワークであるNeuroNASを提案する。 NeuroNASは,(1)効率的なNASを実現するためのSNN操作の最適化,(2)メモリフットプリントを最小化するための量子化,(3)効果的な学習を容易にするSNNアーキテクチャの開発,(4)制約を満たすためのハードウェア対応検索アルゴリズムの開発,といった重要なステップを採用している。 最先端と比較して8ビットの重みを持つNeuroNASは、検索時間の最大6.6倍の精度を維持しながら、最大92%の領域の節約、1.2倍のレイテンシのスピードアップ、CIFAR-10、CIFAR-100、TinyImageNet-200データセットにわたる84%の省エネを実現している。 このように、NeuroNASは、エネルギー効率の良いニューロモルフィックCIMシステムの開発において、多様なMLベースのアプリケーションのための効率的な設計自動化を可能にする。

関連論文リスト

• SpikeNAS: A Fast Memory-Aware Neural Architecture Search Framework for Spiking Neural Network-based Autonomous Agents [6.006032394972252]
  スパイキングニューラルネットワークは、高精度で超低消費電力/エネルギー計算を提供する。 SpikeNASは、SNNのための新しい高速メモリ対応ニューラルアーキテクチャ検索フレームワークである。 その結果,SpikeNASは検索時間を改善するとともに,最先端技術と比較して精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-02-17T16:33:54Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• SpikeSim: An end-to-end Compute-in-Memory Hardware Evaluation Tool for Benchmarking Spiking Neural Networks [4.0300632886917]
  SpikeSimは、IMCマップされたSNNの現実的なパフォーマンス、エネルギ、レイテンシ、領域評価を実現するツールである。 神経モジュールの面積の1.24倍と10倍に減少するSNNトポロジカルな変化と全エネルギー・遅延生成値を提案する。
  論文  参考訳（メタデータ） (2022-10-24T01:07:17Z)
• RoHNAS: A Neural Architecture Search Framework with Conjoint Optimization for Adversarial Robustness and Hardware Efficiency of Convolutional and Capsule Networks [10.946374356026679]
  RoHNASは、Deep Neural Network(DNN)の対向ロバスト性とハードウェア効率を共同で最適化する新しいフレームワークである。 探索時間を短縮するため、RoHNASはNASフローで使用するデータセット毎に、逆摂動の適切な値を分析し、選択する。
  論文  参考訳（メタデータ） (2022-10-11T09:14:56Z)
• Energy-Efficient Deployment of Machine Learning Workloads on Neuromorphic Hardware [0.11744028458220425]
  ディープラーニングハードウェアアクセラレータがいくつかリリースされ、ディープニューラルネットワーク(DNN)が消費する電力と面積の削減に特化している。 個別の時系列データで動作するスパイクニューラルネットワーク(SNN)は、特殊なニューロモルフィックイベントベース/非同期ハードウェアにデプロイすると、大幅な電力削減を実現することが示されている。 本研究では,事前学習したDNNをSNNに変換するための一般的なガイドを提供するとともに,ニューロモルフィックハードウェア上でのSNNの展開を改善するためのテクニックも提示する。
  論文  参考訳（メタデータ） (2022-10-10T20:27:19Z)
• A Resource-efficient Spiking Neural Network Accelerator Supporting Emerging Neural Encoding [6.047137174639418]
  スパイキングニューラルネットワーク(SNN)は、その低消費電力乗算自由コンピューティングにより、最近勢いを増している。 SNNは、大規模なモデルのための人工知能ニューラルネットワーク(ANN)と同様の精度に達するために、非常に長いスパイク列車(1000台まで)を必要とする。 ニューラルエンコーディングでSNNを効率的にサポートできる新しいハードウェアアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-06T10:56:25Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。