論文の概要: MicroNets: Neural Network Architectures for Deploying TinyML
Applications on Commodity Microcontrollers
- arxiv url: http://arxiv.org/abs/2010.11267v6
- Date: Mon, 12 Apr 2021 19:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 00:36:04.488253
- Title: MicroNets: Neural Network Architectures for Deploying TinyML
Applications on Commodity Microcontrollers
- Title（参考訳）: micronets:tinymlアプリケーションをコモディティマイクロコントローラにデプロイするためのニューラルネットワークアーキテクチャ
- Authors: Colby Banbury, Chuteng Zhou, Igor Fedorov, Ramon Matas Navarro, Urmish
Thakker, Dibakar Gope, Vijay Janapa Reddi, Matthew Mattina, Paul N. Whatmough
- Abstract要約: リソース制約付きマイクロコントローラ(MCU)による機械学習は、IoT(Internet of Things)のアプリケーション領域を大幅に拡大することを約束する
TinyMLは、ディープニューラルネットワーク推論が大きな計算とメモリの予算を必要とするため、深刻な技術的課題を提示している。
ニューラルネットワークサーチ(NAS)は、厳密なMCUメモリ、レイテンシ、エネルギー制約を満たす正確なMLモデルの設計を支援する。
- 参考スコア（独自算出の注目度）: 18.662026553041937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Executing machine learning workloads locally on resource constrained
microcontrollers (MCUs) promises to drastically expand the application space of
IoT. However, so-called TinyML presents severe technical challenges, as deep
neural network inference demands a large compute and memory budget. To address
this challenge, neural architecture search (NAS) promises to help design
accurate ML models that meet the tight MCU memory, latency and energy
constraints. A key component of NAS algorithms is their latency/energy model,
i.e., the mapping from a given neural network architecture to its inference
latency/energy on an MCU. In this paper, we observe an intriguing property of
NAS search spaces for MCU model design: on average, model latency varies
linearly with model operation (op) count under a uniform prior over models in
the search space. Exploiting this insight, we employ differentiable NAS (DNAS)
to search for models with low memory usage and low op count, where op count is
treated as a viable proxy to latency. Experimental results validate our
methodology, yielding our MicroNet models, which we deploy on MCUs using
Tensorflow Lite Micro, a standard open-source NN inference runtime widely used
in the TinyML community. MicroNets demonstrate state-of-the-art results for all
three TinyMLperf industry-standard benchmark tasks: visual wake words, audio
keyword spotting, and anomaly detection. Models and training scripts can be
found at github.com/ARM-software/ML-zoo.
- Abstract（参考訳）: リソース制約付きマイクロコントローラ(MCU)上でローカルに機械学習ワークロードを実行することで、IoTのアプリケーション領域を大幅に拡大する。
しかし、いわゆるtinymlは、ディープニューラルネットワーク推論には大きな計算とメモリ予算を必要とするため、深刻な技術的課題を呈する。
この課題に対処するため、ニューラルネットワークサーチ(NAS)は、厳密なMCUメモリ、レイテンシ、エネルギー制約を満たす正確なMLモデルの設計を支援する。
NASアルゴリズムの重要なコンポーネントは、そのレイテンシ/エネルギーモデル、すなわち、あるニューラルネットワークアーキテクチャからMCU上の推論遅延/エネルギーへのマッピングである。
本稿では,MCUモデル設計におけるNAS探索空間の興味深い特性について考察する:平均的なモデル遅延は,探索空間内のモデルに対して一様に先行するモデル演算(op)数で線形に変化する。
メモリ使用量が少なく,オプトカウントの少ないモデルを探索するために,この知見をエクスプロイトするため,我々は差別化可能なNAS(DNAS)を用いている。
TinyMLコミュニティで広く使われている標準のオープンソースNN推論ランタイムであるTensorflow Lite Microを使って,MCU上にデプロイするMicroNetモデルを作成した。
micronetsは、3つのtinymlperf業界標準ベンチマークタスク(ビジュアルウェイクワード、オーディオキーワードスポッティング、異常検出)の最先端結果を示している。
モデルとトレーニングスクリプトはgithub.com/ARM-software/ML-zooで見ることができる。
関連論文リスト
- DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - FL-NAS: Towards Fairness of NAS for Resource Constrained Devices via
Large Language Models [24.990028167518226]
本稿では,3つの重要な設計指標を同時に検討することにより,この方向をさらに探究する。
本稿では,新しいLCMベースのNASフレームワークFL-NASを提案する。
FL-NASが実際に高い性能のDNNを見出すことができ、ほぼすべての設計上の考慮事項において、最先端のDNNモデルよりも精度が高いことを示す。
論文 参考訳（メタデータ） (2024-02-09T00:49:03Z) - Efficient Neural Networks for Tiny Machine Learning: A Comprehensive
Review [1.049712834719005]
このレビューでは、効率的なニューラルネットワークの進歩と超低消費電力マイクロコントローラへのディープラーニングモデルの展開を詳細に分析する。
レビューの中核は、TinyMLの効率的なニューラルネットワークに焦点を当てている。
モデル圧縮、量子化、低ランク因数分解などのテクニックをカバーし、最小限のリソース利用のためにニューラルネットワークアーキテクチャを最適化する。
次に,超低消費電力MCU上でのディープラーニングモデルの展開について検討し,限られた計算能力やメモリ資源といった課題に対処する。
論文 参考訳（メタデータ） (2023-11-20T16:20:13Z) - MicroNAS: Memory and Latency Constrained Hardware-Aware Neural
Architecture Search for Time Series Classification on Microcontrollers [3.0723404270319685]
我々は、資源制約型マイクロコントローラ(MCU)における時系列分類問題を解決するために、差別化可能なニューラルネットワーク探索(DNAS)の概念を適用した。
ドメイン固有のHW-NASシステムであるMicroNASを導入し、DNAS、ルックアップテーブル、動的畳み込み、MCUの時系列分類に特化して設計された新しい検索空間を提案する。
異なるMCUと標準ベンチマークデータセットの研究により、MicroNASは、最先端のデスクトップモデルに近いパフォーマンス(F1スコア)を達成するMCUに適したアーキテクチャを見つけることを示した。
論文 参考訳（メタデータ） (2023-10-27T06:55:15Z) - Enhancing Neural Architecture Search with Multiple Hardware Constraints
for Deep Learning Model Deployment on Tiny IoT Devices [17.919425885740793]
微分可能なNAS最適化手法に複数の制約を組み込む新しい手法を提案する。
単一の検索で、それぞれ87.4%と54.2%のメモリとレイテンシを削減できることが示されている。
論文 参考訳（メタデータ） (2023-10-11T06:09:14Z) - DeepPicarMicro: Applying TinyML to Autonomous Cyber Physical Systems [2.2667044691227636]
本稿では、Raspberry Pi Pico MCU上で畳み込みニューラルネットワーク(CNN)を動作させる、小型の自動運転RCカーテストベッドであるDeepPicarMicroを紹介する。
我々は、よく知られたPilotNet CNNアーキテクチャに適合させるために、最先端のDNN最適化を適用した。
システムの精度、レイテンシ、制御性能の興味深い関係を観察する。
論文 参考訳（メタデータ） (2022-08-23T21:58:53Z) - MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。
ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
論文 参考訳（メタデータ） (2022-05-25T11:08:20Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳（メタデータ） (2021-10-28T17:58:45Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - MCUNet: Tiny Deep Learning on IoT Devices [62.752899523628066]
効率的なニューラルネットワーク(TinyNAS)と軽量推論エンジン(TinyEngine)を共同で設計するフレームワークを提案する。
TinyNASは、まず検索空間を最適化してリソース制約に適合させ、次に最適化された検索空間におけるネットワークアーキテクチャを専門化する、2段階のニューラルネットワーク検索アプローチを採用している。
TinyEngineは、階層的に最適化するのではなく、全体的なネットワークトポロジに従ってメモリスケジューリングを適応し、メモリ使用量を4.8倍削減する。
論文 参考訳（メタデータ） (2020-07-20T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。