論文の概要: YONO: Modeling Multiple Heterogeneous Neural Networks on
Microcontrollers
- arxiv url: http://arxiv.org/abs/2203.03794v1
- Date: Tue, 8 Mar 2022 01:24:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 15:15:15.670809
- Title: YONO: Modeling Multiple Heterogeneous Neural Networks on
Microcontrollers
- Title（参考訳）: yono: 複数のヘテロジニアスニューラルネットワークをマイクロコントローラ上でモデリングする
- Authors: Young D. Kwon, Jagmohan Chauhan, and Cecilia Mascolo
- Abstract要約: YONOは製品量子化(PQ)ベースのアプローチで、複数の異種モデルを圧縮し、インメモリモデルの実行と切り替えを可能にする。
YONOは、複数の異種モデルを無視できるか、または12.37$times$まで精度を損なわないで圧縮できるので、優れた性能を示している。
- 参考スコア（独自算出の注目度）: 10.420617367363047
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With the advancement of Deep Neural Networks (DNN) and large amounts of
sensor data from Internet of Things (IoT) systems, the research community has
worked to reduce the computational and resource demands of DNN to compute on
low-resourced microcontrollers (MCUs). However, most of the current work in
embedded deep learning focuses on solving a single task efficiently, while the
multi-tasking nature and applications of IoT devices demand systems that can
handle a diverse range of tasks (activity, voice, and context recognition) with
input from a variety of sensors, simultaneously.
In this paper, we propose YONO, a product quantization (PQ) based approach
that compresses multiple heterogeneous models and enables in-memory model
execution and switching for dissimilar multi-task learning on MCUs. We first
adopt PQ to learn codebooks that store weights of different models. Also, we
propose a novel network optimization and heuristics to maximize the compression
rate and minimize the accuracy loss. Then, we develop an online component of
YONO for efficient model execution and switching between multiple tasks on an
MCU at run time without relying on an external storage device.
YONO shows remarkable performance as it can compress multiple heterogeneous
models with negligible or no loss of accuracy up to 12.37$\times$. Besides,
YONO's online component enables an efficient execution (latency of 16-159 ms
per operation) and reduces model loading/switching latency and energy
consumption by 93.3-94.5% and 93.9-95.0%, respectively, compared to external
storage access. Interestingly, YONO can compress various architectures trained
with datasets that were not shown during YONO's offline codebook learning phase
showing the generalizability of our method. To summarize, YONO shows great
potential and opens further doors to enable multi-task learning systems on
extremely resource-constrained devices.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)の進歩とIoT(Internet of Things)システムからの大量のセンサデータにより、研究コミュニティは、低リソースのマイクロコントローラ(MCU)上で計算するDNNの計算とリソース要求の削減に取り組んでいる。
しかし、組み込みディープラーニングにおける現在の作業の多くは、1つのタスクを効率的に解決することに集中しているが、IoTデバイスのマルチタスクの性質と応用は、さまざまなセンサーからの入力でさまざまなタスク(アクティビティ、音声、コンテキスト認識)を同時に処理できるシステムを必要とする。
本稿では,複数の異種モデルを圧縮し,メモリ内モデルの実行と切り替えが可能な製品量子化(PQ)ベースのアプローチであるYONOを提案する。
まずpqを使って、異なるモデルの重みを格納するコードブックを学習します。
また,圧縮速度を最大化し,精度損失を最小化するネットワーク最適化とヒューリスティックスを提案する。
そこで我々は,外部記憶装置を使わずに,MCU上での複数のタスクの切り替えを効率的に行うためのYONOのオンラインコンポーネントを開発した。
yonoは12.37$\times$の精度を損なうことなく、複数の異種モデルを圧縮できるという驚くべき性能を示している。
さらに、YONOのオンラインコンポーネントは効率的な実行(動作当たり16-159ミリ秒のレイテンシ)を可能にし、外部ストレージアクセスと比較して、モデルロード/スイッチング遅延とエネルギー消費をそれぞれ93.3-94.5%、93.9-95.0%削減する。
興味深いことに、Yonoのオフラインコードブック学習期間中に表示されなかったデータセットで訓練された様々なアーキテクチャを圧縮できる。
要約すると、YONOは大きな可能性を示し、非常にリソースに制約のあるデバイス上でマルチタスク学習システムを実現するためのさらなる扉を開く。
関連論文リスト
- Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse
Multi-DNN Workloads [65.47816359465155]
複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。
スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。
提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
論文 参考訳（メタデータ） (2023-10-17T09:25:17Z) - Enhancing Neural Architecture Search with Multiple Hardware Constraints
for Deep Learning Model Deployment on Tiny IoT Devices [17.919425885740793]
微分可能なNAS最適化手法に複数の制約を組み込む新しい手法を提案する。
単一の検索で、それぞれ87.4%と54.2%のメモリとレイテンシを削減できることが示されている。
論文 参考訳（メタデータ） (2023-10-11T06:09:14Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - Energy-efficient Deployment of Deep Learning Applications on Cortex-M
based Microcontrollers using Deep Compression [1.4050836886292872]
本稿では,資源制約されたマイクロコントローラ上でのディープラーニングモデルの効率的な展開について検討する。
本稿では,異なるDNNプルーニング,量子化,展開戦略の体系的な探索手法を提案する。
予測品質が低下する前に、元のパラメータの10%以下まで圧縮できることが示される。
論文 参考訳（メタデータ） (2022-05-20T10:55:42Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Computational Intelligence and Deep Learning for Next-Generation
Edge-Enabled Industrial IoT [51.68933585002123]
エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。
本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。
特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
論文 参考訳（メタデータ） (2021-10-28T08:14:57Z) - Differentiable Network Pruning for Microcontrollers [14.864940447206871]
本稿では,畳み込みニューラルネットワークのための可変構造型ネットワークプルーニング法を提案する。
モデル固有のリソース使用量とパラメータ重要度フィードバックを統合し、高度に圧縮されかつ正確な分類モデルを得る。
論文 参考訳（メタデータ） (2021-10-15T20:26:15Z) - NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear
Convolution [0.0]
NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。
いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
論文 参考訳（メタデータ） (2021-01-30T13:38:42Z) - Dynamic Sparsity Neural Networks for Automatic Speech Recognition [44.352231175123215]
動的スパシティニューラルネットワーク(DSNN)は、トレーニングが完了すれば、実行時に任意の定義済みのスパシティ設定に即時に切り替えることができる。
したがって、トレーニングされたDSNNモデルは、トレーニングプロセスを大幅に緩和し、リソース制約のある多様なシナリオでのデプロイを簡素化できます。
論文 参考訳（メタデータ） (2020-05-16T22:08:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。