Fugu-MT 論文翻訳(概要): Accelerating TinyML Inference on Microcontrollers through Approximate Kernels

論文の概要: Accelerating TinyML Inference on Microcontrollers through Approximate Kernels

arxiv url: http://arxiv.org/abs/2409.16815v1
Date: Wed, 25 Sep 2024 11:10:33 GMT
ステータス: 処理完了
システム内更新日: 2024-09-27 04:30:14.851580
Title: Accelerating TinyML Inference on Microcontrollers through Approximate Kernels
Title（参考訳）: 近似カーネルによるマイクロコントローラ上のTinyML推論の高速化
Authors: Giorgos Armeniakos, Georgios Mentzos, Dimitrios Soudris,
Abstract要約: 本研究では、近似計算とソフトウェアカーネル設計を組み合わせることで、マイクロコントローラ上での近似CNNモデルの推定を高速化する。 CIFAR-10データセットでトレーニングされたSTM32-Nucleoボードと2つの人気のあるCNNによる評価は、最先端の正確な推測と比較すると、平均21%のレイテンシ削減が可能であることを示している。
参考スコア（独自算出の注目度）: 3.566060656925169
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The rapid growth of microcontroller-based IoT devices has opened up numerous applications, from smart manufacturing to personalized healthcare. Despite the widespread adoption of energy-efficient microcontroller units (MCUs) in the Tiny Machine Learning (TinyML) domain, they still face significant limitations in terms of performance and memory (RAM, Flash). In this work, we combine approximate computing and software kernel design to accelerate the inference of approximate CNN models on MCUs. Our kernel-based approximation framework firstly unpacks the operands of each convolution layer and then conducts an offline calculation to determine the significance of each operand. Subsequently, through a design space exploration, it employs a computation skipping approximation strategy based on the calculated significance. Our evaluation on an STM32-Nucleo board and 2 popular CNNs trained on the CIFAR-10 dataset shows that, compared to state-of-the-art exact inference, our Pareto optimal solutions can feature on average 21% latency reduction with no degradation in Top-1 classification accuracy, while for lower accuracy requirements, the corresponding reduction becomes even more pronounced.
Abstract（参考訳）: マイクロコントローラベースのIoTデバイスの急速な成長は、スマートマニュファクチャリングからパーソナライズされたヘルスケアに至るまで、数多くのアプリケーションを開放した。エネルギー効率のよいマイクロコントローラユニット(MCU)がTiny Machine Learning(TinyML)ドメインで広く採用されているにもかかわらず、パフォーマンスとメモリ(RAM、Flash)の面で大きな制限に直面している。本研究では, 近似計算とソフトウェアカーネル設計を組み合わせることで, MCU上での近似CNNモデルの推定を高速化する。カーネルベースの近似フレームワークはまず、まず各畳み込み層のオペランドを解き、オフラインで計算して各オペランドの重要性を決定する。その後、設計空間探索により、計算量に基づく計算スキップ近似戦略を採用する。 CIFAR-10データセットでトレーニングされたSTM32-Nucleo基板と2つのCNNを用いて評価したところ、最先端の正確な推測と比較すると、私たちのPareto最適解は、Top-1分類精度を低下させることなく平均21%のレイテンシ削減が可能であり、さらに低い精度要件では、対応する縮小がより顕著になる。

関連論文リスト

MONAS: Efficient Zero-Shot Neural Architecture Search for MCUs [5.321424657585365]
MONASは、エッジコンピューティングのマイクロコントローラ(MCU)用に特別に設計された、ゼロショットNASフレームワークである。 MONASは、MCUをターゲットとした以前の作業よりも1104倍の検索効率向上を実現している。 MONASは、より一般的なNASアプローチと同じような精度を維持しながら、MCUの3.23倍高速な推測でCNNモデルを発見することができる。
論文参考訳（メタデータ） (2024-08-26T10:24:45Z)
Reduced Precision Floating-Point Optimization for Deep Neural Network On-Device Learning on MicroControllers [15.37318446043671]
本稿では,MCUクラスデバイス上でのオンデバイス学習(ODL)プリミティブに対して,新しい精度最適化手法を提案する。我々のアプローチは、シングルコアMCUのための既存のODLソフトウェアフレームワークよりも2桁以上高速である。
論文参考訳（メタデータ） (2023-05-30T16:14:16Z)
Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文参考訳（メタデータ） (2022-10-21T15:56:13Z)
Human Activity Recognition on Microcontrollers with Quantized and Adaptive Deep Neural Networks [10.195581493173643]
慣性データに基づくヒューマンアクティビティ認識(HAR)は、組み込みデバイス上でますます普及しているタスクである。ほとんどの組み込みHARシステムは、単純で精度の低い古典的機械学習アルゴリズムに基づいている。本研究は,汎用マイクロコントローラ(MCU)上に展開可能な1次元畳み込みニューラルネットワーク(CNN)の集合を提案する。
論文参考訳（メタデータ） (2022-09-02T06:32:11Z)
Keyword Spotting System and Evaluation of Pruning and Quantization Methods on Low-power Edge Microcontrollers [7.570300579676175]
キーワードスポッティング(KWS)は、エッジの低消費電力デバイスとの音声ベースのユーザインタラクションに有用である。本稿では,Cortex-M7コア@216MHzと512KBの静的RAMを備えたSTM32F7マイクロコントローラ上で動作するKWSシステムについて述べる。
論文参考訳（メタデータ） (2022-08-04T16:49:45Z)
Energy-efficient Deployment of Deep Learning Applications on Cortex-M based Microcontrollers using Deep Compression [1.4050836886292872]
本稿では,資源制約されたマイクロコントローラ上でのディープラーニングモデルの効率的な展開について検討する。本稿では,異なるDNNプルーニング,量子化,展開戦略の体系的な探索手法を提案する。予測品質が低下する前に、元のパラメータの10%以下まで圧縮できることが示される。
論文参考訳（メタデータ） (2022-05-20T10:55:42Z)
An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文参考訳（メタデータ） (2022-01-09T09:31:50Z)
MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
論文参考訳（メタデータ） (2021-11-30T03:52:15Z)
MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文参考訳（メタデータ） (2021-10-28T17:58:45Z)
Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文参考訳（メタデータ） (2021-06-15T17:22:59Z)
FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文参考訳（メタデータ） (2021-03-08T03:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。