論文の概要: $\mu$NAS: Constrained Neural Architecture Search for Microcontrollers
- arxiv url: http://arxiv.org/abs/2010.14246v3
- Date: Tue, 8 Dec 2020 17:02:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 12:59:07.598700
- Title: $\mu$NAS: Constrained Neural Architecture Search for Microcontrollers
- Title（参考訳）: $\mu$NAS: マイクロコントローラのための制約付きニューラルネットワーク検索
- Authors: Edgar Liberis, {\L}ukasz Dudziak, Nicholas D. Lane
- Abstract要約: IoTデバイスは、非常にリソースの少ないマイクロコントローラユニット(MCU)によって駆動される。
ニューラルアーキテクチャサーチ(NAS)システム($mu$NAS)を構築し、このような小型のパワーを持つMCUレベルのネットワークの設計を自動化する。
NASは、トップ1の分類精度を最大4.8%向上させるか、(b)メモリフットプリントを4-13x削減するか、(c)乗算累積演算数を少なくとも2倍削減することができる。
- 参考スコア（独自算出の注目度）: 15.517404770022633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: IoT devices are powered by microcontroller units (MCUs) which are extremely
resource-scarce: a typical MCU may have an underpowered processor and around 64
KB of memory and persistent storage, which is orders of magnitude fewer
computational resources than is typically required for deep learning. Designing
neural networks for such a platform requires an intricate balance between
keeping high predictive performance (accuracy) while achieving low memory and
storage usage and inference latency. This is extremely challenging to achieve
manually, so in this work, we build a neural architecture search (NAS) system,
called $\mu$NAS, to automate the design of such small-yet-powerful MCU-level
networks. $\mu$NAS explicitly targets the three primary aspects of resource
scarcity of MCUs: the size of RAM, persistent storage and processor speed.
$\mu$NAS represents a significant advance in resource-efficient models,
especially for "mid-tier" MCUs with memory requirements ranging from 0.5 KB to
64 KB. We show that on a variety of image classification datasets $\mu$NAS is
able to (a) improve top-1 classification accuracy by up to 4.8%, or (b) reduce
memory footprint by 4--13x, or (c) reduce the number of multiply-accumulate
operations by at least 2x, compared to existing MCU specialist literature and
resource-efficient models.
- Abstract（参考訳）: 典型的なMCUは、低消費電力のプロセッサと約64KBのメモリと永続的なストレージを持ち、これはディープラーニングで通常必要とされるよりも、桁違いに少ない計算リソースである。
このようなプラットフォームのためにニューラルネットワークを設計するには、高い予測性能(正確性)を維持することと、低いメモリとストレージ使用率と推論レイテンシの複雑なバランスが必要である。
これは手作業で行うことが極めて難しいため、この作業では、このような小型でパワフルなMCUレベルのネットワークの設計を自動化するために、$\mu$NASと呼ばれるニューラルアーキテクチャサーチ(NAS)システムを構築します。
$\mu$NASは、MCUのリソース不足の3つの主要な側面、すなわちRAMのサイズ、永続ストレージ、プロセッサ速度を明示的にターゲットとしている。
特にメモリ要求が0.5kbから64kbまでである"中間層"mcusでは、$\mu$nasはリソース効率の高いモデルにおいて著しく進歩している。
さまざまな画像分類データセットに対して$\mu$NASが可能であることを示す。
(a)トップ1分類精度を最大4.8%向上させる、または
(b)メモリフットプリントを4--13x、または
(c)既存のMCU専門文献や資源効率のモデルと比較して,乗算累積演算数を少なくとも2倍に削減する。
関連論文リスト
- DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - MicroNAS: Zero-Shot Neural Architecture Search for MCUs [5.813274149871141]
ニューラルネットワーク探索(NAS)は、新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを効果的に発見する。
エッジコンピューティングにおけるマイクロコントローラユニット(MCU)のためのハードウェア対応ゼロショットNASフレームワークであるMicroNASを提案する。
以前の研究と比較すると、MicroNASは探索効率を最大1104倍改善し、3.23倍高速なMCU推論モデルを発見した。
論文 参考訳（メタデータ） (2024-01-17T06:17:42Z) - MicroNAS: Memory and Latency Constrained Hardware-Aware Neural
Architecture Search for Time Series Classification on Microcontrollers [3.0723404270319685]
我々は、資源制約型マイクロコントローラ(MCU)における時系列分類問題を解決するために、差別化可能なニューラルネットワーク探索(DNAS)の概念を適用した。
ドメイン固有のHW-NASシステムであるMicroNASを導入し、DNAS、ルックアップテーブル、動的畳み込み、MCUの時系列分類に特化して設計された新しい検索空間を提案する。
異なるMCUと標準ベンチマークデータセットの研究により、MicroNASは、最先端のデスクトップモデルに近いパフォーマンス(F1スコア)を達成するMCUに適したアーキテクチャを見つけることを示した。
論文 参考訳（メタデータ） (2023-10-27T06:55:15Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳（メタデータ） (2021-10-28T17:58:45Z) - HR-NAS: Searching Efficient High-Resolution Neural Architectures with
Lightweight Transformers [48.74623838201632]
高分解能表現(HR)は、セグメンテーション、検出、ポーズ推定といった密集した予測タスクに不可欠である。
この研究はHR-NASと呼ばれる新しいNAS手法を提案し、異なるタスクに対して効率的かつ正確なネットワークを見つけることができる。
HR-NASは、3つの密集予測タスクと画像分類タスクに対して、パフォーマンスとFLOPの間の最先端のトレードオフを達成することができる。
論文 参考訳（メタデータ） (2021-06-11T18:11:36Z) - MicroNets: Neural Network Architectures for Deploying TinyML
Applications on Commodity Microcontrollers [18.662026553041937]
リソース制約付きマイクロコントローラ(MCU)による機械学習は、IoT(Internet of Things)のアプリケーション領域を大幅に拡大することを約束する
TinyMLは、ディープニューラルネットワーク推論が大きな計算とメモリの予算を必要とするため、深刻な技術的課題を提示している。
ニューラルネットワークサーチ(NAS)は、厳密なMCUメモリ、レイテンシ、エネルギー制約を満たす正確なMLモデルの設計を支援する。
論文 参考訳（メタデータ） (2020-10-21T19:39:39Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - Leveraging Automated Mixed-Low-Precision Quantization for tiny edge
microcontrollers [76.30674794049293]
本稿では、HAQフレームワークに基づく自動混合精度量子化フローを提案するが、MCUデバイスのメモリおよび計算特性に特化している。
具体的には、強化学習エージェントは、個々の重みとアクティベーションテンソルの2, 4, 8ビットのうち、最高の均一量子化レベルを探索する。
重量のみの量子化のために2MBに制限されたMCUクラスのメモリが与えられた場合、混合精度エンジンによって生成された圧縮されたモデルは、最先端のソリューションと同じくらい正確である。
論文 参考訳（メタデータ） (2020-08-12T06:09:58Z) - MCUNet: Tiny Deep Learning on IoT Devices [62.752899523628066]
効率的なニューラルネットワーク(TinyNAS)と軽量推論エンジン(TinyEngine)を共同で設計するフレームワークを提案する。
TinyNASは、まず検索空間を最適化してリソース制約に適合させ、次に最適化された検索空間におけるネットワークアーキテクチャを専門化する、2段階のニューラルネットワーク検索アプローチを採用している。
TinyEngineは、階層的に最適化するのではなく、全体的なネットワークトポロジに従ってメモリスケジューリングを適応し、メモリ使用量を4.8倍削減する。
論文 参考訳（メタデータ） (2020-07-20T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。