論文の概要: MCUNet: Tiny Deep Learning on IoT Devices

• arxiv url: http://arxiv.org/abs/2007.10319v2
• Date: Thu, 19 Nov 2020 17:29:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 14:17:07.465041
• Title: MCUNet: Tiny Deep Learning on IoT Devices
• Title（参考訳）: MCUNet:IoTデバイスに関する微妙なディープラーニング
• Authors: Ji Lin, Wei-Ming Chen, Yujun Lin, John Cohn, Chuang Gan, Song Han
• Abstract要約: 効率的なニューラルネットワーク(TinyNAS)と軽量推論エンジン(TinyEngine)を共同で設計するフレームワークを提案する。 TinyNASは、まず検索空間を最適化してリソース制約に適合させ、次に最適化された検索空間におけるネットワークアーキテクチャを専門化する、2段階のニューラルネットワーク検索アプローチを採用している。 TinyEngineは、階層的に最適化するのではなく、全体的なネットワークトポロジに従ってメモリスケジューリングを適応し、メモリ使用量を4.8倍削減する。
• 参考スコア（独自算出の注目度）: 62.752899523628066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning on tiny IoT devices based on microcontroller units (MCU) is appealing but challenging: the memory of microcontrollers is 2-3 orders of magnitude smaller even than mobile phones. We propose MCUNet, a framework that jointly designs the efficient neural architecture (TinyNAS) and the lightweight inference engine (TinyEngine), enabling ImageNet-scale inference on microcontrollers. TinyNAS adopts a two-stage neural architecture search approach that first optimizes the search space to fit the resource constraints, then specializes the network architecture in the optimized search space. TinyNAS can automatically handle diverse constraints (i.e.device, latency, energy, memory) under low search costs.TinyNAS is co-designed with TinyEngine, a memory-efficient inference library to expand the search space and fit a larger model. TinyEngine adapts the memory scheduling according to the overall network topology rather than layer-wise optimization, reducing the memory usage by 4.8x, and accelerating the inference by 1.7-3.3x compared to TF-Lite Micro and CMSIS-NN. MCUNet is the first to achieves >70% ImageNet top1 accuracy on an off-the-shelf commercial microcontroller, using 3.5x less SRAM and 5.7x less Flash compared to quantized MobileNetV2 and ResNet-18. On visual&audio wake words tasks, MCUNet achieves state-of-the-art accuracy and runs 2.4-3.4x faster than MobileNetV2 and ProxylessNAS-based solutions with 3.7-4.1x smaller peak SRAM. Our study suggests that the era of always-on tiny machine learning on IoT devices has arrived. Code and models can be found here: https://tinyml.mit.edu.
• Abstract（参考訳）: マイクロコントローラユニット(MCU)に基づく小さなIoTデバイス上での機械学習は、魅力的だが難しい。 我々は,効率的なニューラルアーキテクチャ(tinynas)と軽量推論エンジン(tinyengine)を共同で設計するフレームワークであるmcunetを提案する。 TinyNASは2段階のニューラルアーキテクチャ検索アプローチを採用しており、まず検索空間を最適化してリソース制約に適合させ、次に最適化された検索空間でネットワークアーキテクチャを専門化する。 TinyNASは、低検索コストで様々な制約(デバイス、レイテンシ、エネルギー、メモリなど)を自動的に処理できる。TinyEngineは、検索スペースを拡張し、より大きなモデルに適合するメモリ効率の高い推論ライブラリである。 TinyEngineは、階層的な最適化よりも全体的なネットワークトポロジに従ってメモリスケジューリングを適応させ、メモリ使用量を4.8倍に減らし、TF-Lite MicroやCMSIS-NNと比較して1.7-3.3倍高速化する。 MCUNet は、市販のマイクロコントローラで 70% ImageNet Top1 の精度を初めて達成し、量子化された MobileNetV2 や ResNet-18 と比較して、3.5倍のSRAMと5.7倍の Flash を使用する。 ビジュアル&オーディオのウェイクワードタスクでは、MCUNetは最先端の精度を達成し、3.7-4.1倍のピークSRAMを持つMobileNetV2やProxylessNASベースのソリューションよりも2.4-3.4倍高速で動作する。 我々の研究は、IoTデバイス上で常時オンの小さな機械学習の時代が到来したことを示唆している。 コードとモデルはここで見ることができる。

関連論文リスト

• TinyTNAS: GPU-Free, Time-Bound, Hardware-Aware Neural Architecture Search for TinyML Time Series Classification [6.9604565273682955]
  TinyTNASは,TinyML時系列分類に特化して設計された,ハードウェア対応の多目的ニューラルアーキテクチャ検索(NAS)ツールである。 GPU機能に依存する従来のNASメソッドとは異なり、TinyTNASはCPU上で効率的に動作し、幅広いアプリケーションにアクセスできる。 TinyTNASは、RAM、FLASH、MAC使用率、レイテンシを大幅に削減した最先端の精度を示している。
  論文  参考訳（メタデータ） (2024-08-29T13:50:08Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• FP-NAS: Fast Probabilistic Neural Architecture Search [49.21560787752714]
  PARSECのような確率的NASは高性能アーキテクチャ上の分布を学習し、単一のモデルをトレーニングするのに必要なメモリだけを使用する。 本稿では,分布エントロピーに適応したサンプリング手法を提案する。 FP-NAS(Fast Probabilistic NAS)はアーキテクチャを64%削減し、PARSECより2.1倍高速に検索できることを示す。
  論文  参考訳（メタデータ） (2020-11-22T06:10:05Z)
• Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets [65.28292822614418]
  解像度、深さ、幅を同時に拡大する巨大な公式は、ニューラルネットワークのためのルービックキューブを提供する。 本稿では,最小モデルサイズと計算コストで深層ニューラルネットワークを得るためのツイストルールを検討することを目的とする。
  論文  参考訳（メタデータ） (2020-10-28T08:49:45Z)
• $\mu$NAS: Constrained Neural Architecture Search for Microcontrollers [15.517404770022633]
  IoTデバイスは、非常にリソースの少ないマイクロコントローラユニット(MCU)によって駆動される。 ニューラルアーキテクチャサーチ(NAS)システム($mu$NAS)を構築し、このような小型のパワーを持つMCUレベルのネットワークの設計を自動化する。 NASは、トップ1の分類精度を最大4.8%向上させるか、(b)メモリフットプリントを4-13x削減するか、(c)乗算累積演算数を少なくとも2倍削減することができる。
  論文  参考訳（メタデータ） (2020-10-27T12:42:53Z)
• MicroNets: Neural Network Architectures for Deploying TinyML Applications on Commodity Microcontrollers [18.662026553041937]
  リソース制約付きマイクロコントローラ(MCU)による機械学習は、IoT(Internet of Things)のアプリケーション領域を大幅に拡大することを約束する TinyMLは、ディープニューラルネットワーク推論が大きな計算とメモリの予算を必要とするため、深刻な技術的課題を提示している。 ニューラルネットワークサーチ(NAS)は、厳密なMCUメモリ、レイテンシ、エネルギー制約を満たす正確なMLモデルの設計を支援する。
  論文  参考訳（メタデータ） (2020-10-21T19:39:39Z)
• Efficient Neural Network Deployment for Microcontroller [0.0]
  本稿では,マイクロコントローラのための畳み込みニューラルネットワークの展開を探索し,一般化する。 メモリの節約と性能は、ARM Cortex-M CPU用に開発されたCMSIS-NNフレームワークと比較される。 最終的な目的は、トレーニングされたネットワーク重みを持つPyTorchモデルを消費するツールを開発することであり、低メモリ(キロバイトレベル)と限られた計算能力を持つマイクロコントローラのためにC/C++で最適化された推論エンジンとなる。
  論文  参考訳（メタデータ） (2020-07-02T19:21:05Z)
• FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions [70.59851564292828]
  微分可能なニューラルネットワーク探索(DNAS)は、最先端で効率的なニューラルネットワークの設計において大きな成功を収めている。 メモリと計算効率のよいDNAS変異体DMaskingNASを提案する。 このアルゴリズムは、検索スペースを従来のDNASよりも最大1014倍に拡張する。
  論文  参考訳（メタデータ） (2020-04-12T08:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。