論文の概要: Low-Energy On-Device Personalization for MCUs
- arxiv url: http://arxiv.org/abs/2403.08040v3
- Date: Tue, 24 Sep 2024 11:46:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:42:45.394262
- Title: Low-Energy On-Device Personalization for MCUs
- Title(参考訳): MCUの低エネルギーオンデバイスパーソナライズ
- Authors: Yushan Huang, Ranya Aloufi, Xavier Cadet, Yuchen Zhao, Payam Barnaghi, Hamed Haddadi,
- Abstract要約: マイクロコントローラユニット(MCU)は、低コストとエネルギー消費のためにエッジアプリケーションに理想的なプラットフォームである。
ローカルオンデバイスパーソナライズのための既存のアプローチは、主に単純なMLアーキテクチャをサポートするか、複雑なローカル事前トレーニング/トレーニングを必要とする。
本稿では,効率よく低エネルギーなMCUパーソナライズ手法である$MicroT$を紹介する。
- 参考スコア(独自算出の注目度): 7.540045123542394
- License:
- Abstract: Microcontroller Units (MCUs) are ideal platforms for edge applications due to their low cost and energy consumption, and are widely used in various applications, including personalized machine learning tasks, where customized models can enhance the task adaptation. However, existing approaches for local on-device personalization mostly support simple ML architectures or require complex local pre-training/training, leading to high energy consumption and negating the low-energy advantage of MCUs. In this paper, we introduce $MicroT$, an efficient and low-energy MCU personalization approach. $MicroT$ includes a robust, general, but tiny feature extractor, developed through self-supervised knowledge distillation, which trains a task-specific head to enable independent on-device personalization with minimal energy and computational requirements. MicroT implements an MCU-optimized early-exit inference mechanism called stage-decision to further reduce energy costs. This mechanism allows for user-configurable exit criteria (stage-decision ratio) to adaptively balance energy cost with model performance. We evaluated MicroT using two models, three datasets, and two MCU boards. $MicroT$ outperforms traditional transfer learning (TTL) and two SOTA approaches by 2.12 - 11.60% across two models and three datasets. Targeting widely used energy-aware edge devices, MicroT's on-device training requires no additional complex operations, halving the energy cost compared to SOTA approaches by up to 2.28$\times$ while keeping SRAM usage below 1MB. During local inference, MicroT reduces energy cost by 14.17% compared to TTL across two boards and two datasets, highlighting its suitability for long-term use on energy-aware resource-constrained MCUs.
- Abstract(参考訳): マイクロコントローラユニット(MCU)は、低コストとエネルギー消費のためにエッジアプリケーションにとって理想的なプラットフォームであり、カスタマイズされたモデルによってタスク適応が向上するパーソナライズされた機械学習タスクなど、様々なアプリケーションで広く利用されている。
しかし、ローカルオンデバイスパーソナライズのための既存のアプローチは、主に単純なMLアーキテクチャをサポートするか、複雑なローカルトレーニング/トレーニングを必要とするため、高エネルギー消費とMCUの低エネルギー優位性を否定する。
本稿では,効率よく低エネルギーなMCUパーソナライズ手法である$MicroT$を紹介する。
$MicroT$には、自己監督型知識蒸留によって開発された、堅牢で汎用的で小さな特徴抽出器が含まれており、タスク固有のヘッドを訓練して、最小限のエネルギーと計算要求でデバイス上の個別化を可能にする。
MicroTは、エネルギーコストをさらに削減するために、ステージ決定と呼ばれる、MCU最適化の早期終了推論機構を実装している。
このメカニズムにより、ユーザ設定可能な出口基準(ステージ-決定比)をモデル性能と適応的にエネルギーコストのバランスをとることができる。
2つのモデル、3つのデータセット、2つのMCUボードを用いてMicroTを評価した。
$MicroT$は、2つのモデルと3つのデータセットで2.12~11.60%の従来の転送学習(TTL)と2つのSOTAアプローチを上回っている。
広く使われているエネルギ対応エッジデバイスをターゲットに、MicroTのオンデバイストレーニングでは、SRAM使用率を1MB以下に保ちながら、SOTAアプローチの最大2.28$\times$のエネルギーコストを半減する、追加の複雑な操作を必要としない。
ローカル推論において、MicroTは2つのボードと2つのデータセットのTTLと比較して14.17%のエネルギーコストを削減し、エネルギーを意識した資源制約型MCUの長期使用に適していることを強調している。
関連論文リスト
- EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳(メタデータ) (2024-05-23T05:25:45Z) - MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies [85.57899012821211]
SLM(Small Language Models)は、LLM(Large Language Models)に代わるリソース効率の高いモデルである。
我々はMiniCPM、特に1.2Bと2.4Bの非埋め込みパラメータの変種を紹介する。
また、MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kを含むMiniCPMファミリーについても紹介する。
論文 参考訳(メタデータ) (2024-04-09T15:36:50Z) - DeepForge: Leveraging AI for Microstructural Control in Metal Forming
via Model Predictive Control [0.0]
本研究では, 閉鎖型熱間鍛造における組織制御手法を提案する。
Model PredictiveCMPとDeepForgeというマシンを組み合わせる。
論文 参考訳(メタデータ) (2024-02-25T15:37:14Z) - Asymmetric Masked Distillation for Pre-Training Small Foundation Models [52.56257450614992]
自己教師型基礎モデルは、マスク付きオートエンコーディングの事前学習パラダイムのおかげで、コンピュータビジョンにおいて大きな可能性を秘めている。
本稿では、下流タスクに効率的に適応できる比較的小さな視覚変換器モデルを事前学習することに焦点を当てる。
自動符号化による比較的小さなモデルの事前学習のための新しい非対称マスク蒸留(AMD)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-06T14:44:34Z) - TinyMIM: An Empirical Study of Distilling MIM Pre-trained Models [31.16595289223858]
マスク付き画像モデリング(MIM)は、事前学習大型視覚変換器(ViT)に強く貢献する
しかし、現実世界のアプリケーションにとって重要な小さなモデルは、この事前学習アプローチの恩恵を受けることはできない。
我々は,MIMをベースとした大規模プレトレーニングモデルの成功を,より小さなモデルに伝達する蒸留技術について検討する。
論文 参考訳(メタデータ) (2023-01-03T18:59:54Z) - Improving Rare Word Recognition with LM-aware MWER Training [50.241159623691885]
本稿では,ハイブリッド自己回帰変換器(HAT)モデルを識別訓練フレームワークで学習する際のLMを紹介する。
浅層核融合では,仮説生成と損失計算の両方でLMを用いており,LM対応MWER学習モデルでは相対的な10%の改善が達成されている。
再構成セットアップでは、小さなニューラルネットワークモジュールを学習し、データ依存の方法で核融合重みを生成する。
論文 参考訳(メタデータ) (2022-04-15T17:19:41Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳(メタデータ) (2021-10-05T02:14:38Z) - On Minimum Word Error Rate Training of the Hybrid Autoregressive
Transducer [40.63693071222628]
ハイブリッド自己回帰変換器(HAT)の最小単語誤り率(MWER)訓練について検討する。
約3万時間のトレーニングデータを用いた実験から,MWERトレーニングがHATモデルの精度を向上させることを示す。
論文 参考訳(メタデータ) (2020-10-23T21:16:30Z) - Energy-Based Reranking: Improving Neural Machine Translation Using
Energy-Based Models [59.039592890187144]
自己回帰型ニューラルネットワーク翻訳(NMT)における最大推定(MLE)とBLEUスコアなどのタスク尺度の相違について検討する。
MLEベースのトレーニングされたNMTから引き出されたサンプルは、所望の分布をサポートします。ビーム復号出力と比較して、BLEUスコアがはるかに高いサンプルがあります。
目的文の辺縁エネルギーモデルと、目的文の辺縁エネルギーモデルの両方を用いてアルゴリズムを改良する。
論文 参考訳(メタデータ) (2020-09-20T02:50:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。