論文の概要: SpikeNAS: A Fast Memory-Aware Neural Architecture Search Framework for
Spiking Neural Network Systems
- arxiv url: http://arxiv.org/abs/2402.11322v1
- Date: Sat, 17 Feb 2024 16:33:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 22:01:01.371047
- Title: SpikeNAS: A Fast Memory-Aware Neural Architecture Search Framework for
Spiking Neural Network Systems
- Title(参考訳): SpikeNAS: スパイクニューラルネットワークシステムのための高速メモリ対応ニューラルネットワーク検索フレームワーク
- Authors: Rachmad Vidya Wicaksana Putra, Muhammad Shafique
- Abstract要約: Spiking Neural Networks(SNN)は、機械学習タスクの超低消費電力/エネルギー計算を実現するための有望なソリューションを提供する。
現在、ほとんどのSNNアーキテクチャは、ニューロンのアーキテクチャと操作がSNNとは異なる人工ニューラルネットワークから派生している。
本稿では,SNNのための新しいメモリ対応ニューラルネットワーク検索フレームワークであるSpikeNASを提案する。
- 参考スコア(独自算出の注目度): 7.095331645967216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) offer a promising solution to achieve ultra
low-power/energy computation for solving machine learning tasks. Currently,
most of the SNN architectures are derived from Artificial Neural Networks whose
neurons' architectures and operations are different from SNNs, or developed
without considering memory budgets from the underlying processing hardware.
These limitations hinder the SNNs from reaching their full potential in
accuracy and efficiency. Towards this, we propose SpikeNAS, a novel
memory-aware neural architecture search (NAS) framework for SNNs that can
quickly find an appropriate SNN architecture with high accuracy under the given
memory budgets. To do this, our SpikeNAS employs several key steps: analyzing
the impacts of network operations on the accuracy, enhancing the network
architecture to improve the learning quality, and developing a fast
memory-aware search algorithm. The experimental results show that our SpikeNAS
improves the searching time and maintains high accuracy as compared to
state-of-the-art while meeting the given memory budgets (e.g., 4.4x faster
search with 1.3% accuracy improvement for CIFAR100, using an Nvidia RTX 6000
Ada GPU machine), thereby quickly providing the appropriate SNN architecture
for memory-constrained SNN-based systems.
- Abstract(参考訳): spiking neural networks (snns)は、機械学習タスクを解決するための超低消費電力/エネルギー計算を実現する有望なソリューションを提供する。
現在、snnアーキテクチャの大部分は、ニューロンのアーキテクチャと操作がsnsとは異なる人工ニューラルネットワークに由来するか、基礎となる処理ハードウェアからメモリ予算を考慮せずに開発されたものである。
これらの制限により、SNNは正確性と効率性において大きな可能性を秘めている。
そこで我々は,SNNのための新しいメモリ対応ニューラルアーキテクチャ探索(NAS)フレームワークであるSpikeNASを提案する。
これを実現するために、私たちのSpikeNASでは、ネットワーク操作が精度に与える影響を分析し、学習品質を改善するためにネットワークアーキテクチャを拡張し、高速なメモリ認識検索アルゴリズムを開発した。
実験結果から,spikenasは,与えられたメモリ予算(例えば,nvidia rtx 6000 ada gpuマシンを用いたcifar100の4.4倍高速検索と1.3%の精度向上)を満たしながら,最先端と比較して検索時間を短縮し,高い精度を保ち,メモリ制約付きsnベースシステムに適したsnnアーキテクチャを迅速に提供できることがわかった。
関連論文リスト
- DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳(メタデータ) (2023-06-27T11:28:29Z) - SpikeSim: An end-to-end Compute-in-Memory Hardware Evaluation Tool for
Benchmarking Spiking Neural Networks [4.0300632886917]
SpikeSimは、IMCマップされたSNNの現実的なパフォーマンス、エネルギ、レイテンシ、領域評価を実現するツールである。
神経モジュールの面積の1.24倍と10倍に減少するSNNトポロジカルな変化と全エネルギー・遅延生成値を提案する。
論文 参考訳(メタデータ) (2022-10-24T01:07:17Z) - RoHNAS: A Neural Architecture Search Framework with Conjoint
Optimization for Adversarial Robustness and Hardware Efficiency of
Convolutional and Capsule Networks [10.946374356026679]
RoHNASは、Deep Neural Network(DNN)の対向ロバスト性とハードウェア効率を共同で最適化する新しいフレームワークである。
探索時間を短縮するため、RoHNASはNASフローで使用するデータセット毎に、逆摂動の適切な値を分析し、選択する。
論文 参考訳(メタデータ) (2022-10-11T09:14:56Z) - AutoSNN: Towards Energy-Efficient Spiking Neural Networks [26.288681480713695]
スパイキングニューラルネットワーク(SNN)は、脳内の情報伝達を模倣する。
これまでのほとんどの研究は訓練方法のみに焦点を合わせており、建築の影響はめったに研究されていない。
我々はAutoSNNと呼ばれるスパイク対応ニューラルネットワーク検索フレームワークを提案する。
論文 参考訳(メタデータ) (2022-01-30T06:12:59Z) - Neural Architecture Search for Spiking Neural Networks [10.303676184878896]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。
従来のSNN手法のほとんどはANNのようなアーキテクチャを使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。
より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。
論文 参考訳(メタデータ) (2022-01-23T16:34:27Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - FLASH: Fast Neural Architecture Search with Hardware Optimization [7.263481020106725]
ニューラルアーキテクチャサーチ(NAS)は、効率的かつ高性能なディープニューラルネットワーク(DNN)を設計するための有望な手法である
本稿では,実ハードウェアプラットフォーム上でのDNNの精度と性能を協調的に最適化する,非常に高速なNAS手法であるFLASHを提案する。
論文 参考訳(メタデータ) (2021-08-01T23:46:48Z) - Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。
まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。
我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
論文 参考訳(メタデータ) (2020-10-27T18:08:57Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2020-09-29T11:56:01Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳(メタデータ) (2020-09-08T15:51:23Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳(メタデータ) (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。