Fugu-MT 論文翻訳(概要): Low-Energy On-Device Personalization for MCUs

論文の概要: Low-Energy On-Device Personalization for MCUs

arxiv url: http://arxiv.org/abs/2403.08040v3
Date: Tue, 1 Oct 2024 14:08:10 GMT
ステータス: 処理完了
システム内更新日: 2024-11-09 04:10:35.296213
Title: Low-Energy On-Device Personalization for MCUs
Title（参考訳）: MCUの低エネルギーオンデバイスパーソナライズ
Authors: Yushan Huang, Ranya Aloufi, Xavier Cadet, Yuchen Zhao, Payam Barnaghi, Hamed Haddadi,
Abstract要約: マイクロコントローラユニット(MCU)は、低コストとエネルギー消費のためにエッジアプリケーションに理想的なプラットフォームである。ローカルオンデバイスパーソナライズのための既存のアプローチは、主に単純なMLアーキテクチャをサポートするか、複雑なローカル事前トレーニング/トレーニングを必要とする。本稿では,効率よく低エネルギーなMCUパーソナライズ手法である$MicroT$を紹介する。
参考スコア（独自算出の注目度）: 7.540045123542394
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Microcontroller Units (MCUs) are ideal platforms for edge applications due to their low cost and energy consumption, and are widely used in various applications, including personalized machine learning tasks, where customized models can enhance the task adaptation. However, existing approaches for local on-device personalization mostly support simple ML architectures or require complex local pre-training/training, leading to high energy consumption and negating the low-energy advantage of MCUs. In this paper, we introduce $MicroT$, an efficient and low-energy MCU personalization approach. $MicroT$ includes a robust, general, but tiny feature extractor, developed through self-supervised knowledge distillation, which trains a task-specific head to enable independent on-device personalization with minimal energy and computational requirements. MicroT implements an MCU-optimized early-exit inference mechanism called stage-decision to further reduce energy costs. This mechanism allows for user-configurable exit criteria (stage-decision ratio) to adaptively balance energy cost with model performance. We evaluated MicroT using two models, three datasets, and two MCU boards. $MicroT$ outperforms traditional transfer learning (TTL) and two SOTA approaches by 2.12 - 11.60% across two models and three datasets. Targeting widely used energy-aware edge devices, MicroT's on-device training requires no additional complex operations, halving the energy cost compared to SOTA approaches by up to 2.28$\times$ while keeping SRAM usage below 1MB. During local inference, MicroT reduces energy cost by 14.17% compared to TTL across two boards and two datasets, highlighting its suitability for long-term use on energy-aware resource-constrained MCUs.
Abstract（参考訳）: マイクロコントローラユニット(MCU)は、低コストとエネルギー消費のためにエッジアプリケーションにとって理想的なプラットフォームであり、カスタマイズされたモデルによってタスク適応が向上するパーソナライズされた機械学習タスクなど、様々なアプリケーションで広く利用されている。しかし、ローカルオンデバイスパーソナライズのための既存のアプローチは、主に単純なMLアーキテクチャをサポートするか、複雑なローカルトレーニング/トレーニングを必要とするため、高エネルギー消費とMCUの低エネルギー優位性を否定する。本稿では,効率よく低エネルギーなMCUパーソナライズ手法である$MicroT$を紹介する。 $MicroT$には、自己監督型知識蒸留によって開発された、堅牢で汎用的で小さな特徴抽出器が含まれており、タスク固有のヘッドを訓練して、最小限のエネルギーと計算要求でデバイス上の個別化を可能にする。 MicroTは、エネルギーコストをさらに削減するために、ステージ決定と呼ばれる、MCU最適化の早期終了推論機構を実装している。このメカニズムにより、ユーザ設定可能な出口基準(ステージ-決定比)をモデル性能と適応的にエネルギーコストのバランスをとることができる。 2つのモデル、3つのデータセット、2つのMCUボードを用いてMicroTを評価した。 $MicroT$は、2つのモデルと3つのデータセットで2.12～11.60%の従来の転送学習(TTL)と2つのSOTAアプローチを上回っている。広く使われているエネルギ対応エッジデバイスをターゲットに、MicroTのオンデバイストレーニングでは、SRAM使用率を1MB以下に保ちながら、SOTAアプローチの最大2.28$\times$のエネルギーコストを半減する、追加の複雑な操作を必要としない。ローカル推論において、MicroTは2つのボードと2つのデータセットのTTLと比較して14.17%のエネルギーコストを削減し、エネルギーを意識した資源制約型MCUの長期使用に適していることを強調している。

関連論文リスト

MicroViT: A Vision Transformer with Low Complexity Self Attention for Edge Device [3.617580194719686]
Vision Transformer (ViT) は、様々なコンピュータビジョンタスクにおいて最先端のパフォーマンスを実証しているが、その高い計算要求により、限られたリソースを持つエッジデバイスでは実用的ではない。本稿では,エッジデバイスに最適化された軽量ビジョントランスフォーマーアーキテクチャであるMicroViTを提案する。
論文参考訳（メタデータ） (2025-02-09T08:04:39Z)
Optimising TinyML with Quantization and Distillation of Transformer and Mamba Models for Indoor Localisation on Edge Devices [7.229732269884237]
本稿では,資源制約エッジデバイスのための小型かつ効率的な機械学習モデル(TinyML)を提案する。この研究は、量子化と知識蒸留を含むモデル圧縮技術に焦点を当て、モデルサイズを大幅に削減する。これらのTinyMLモデルの医療への応用は、患者のモニタリングに革命をもたらす可能性がある。
論文参考訳（メタデータ） (2024-12-12T13:59:21Z)
Spend More to Save More (SM2): An Energy-Aware Implementation of Successive Halving for Sustainable Hyperparameter Optimization [4.831029473163422]
我々は、広く採用されている逐次半減算アルゴリズムに基づく、エネルギーを意識したハイパーパラメータ最適化実装であるSpend More to Save More (SM2)を紹介する。従来のアプローチとは異なり、SM2は最小のエネルギー消費で非効率な構成を特定するために探索予備訓練を採用している。モデルの性能を最大化するだけでなく、エネルギー効率のトレーニングを可能にする最適構成を特定する。
論文参考訳（メタデータ） (2024-12-11T16:37:44Z)
Accelerating TinyML Inference on Microcontrollers through Approximate Kernels [3.566060656925169]
本研究では、近似計算とソフトウェアカーネル設計を組み合わせることで、マイクロコントローラ上での近似CNNモデルの推定を高速化する。 CIFAR-10データセットでトレーニングされたSTM32-Nucleoボードと2つの人気のあるCNNによる評価は、最先端の正確な推測と比較すると、平均21%のレイテンシ削減が可能であることを示している。
論文参考訳（メタデータ） (2024-09-25T11:10:33Z)
Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
論文参考訳（メタデータ） (2023-05-30T02:24:03Z)
M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-26T15:40:24Z)
tinyMAN: Lightweight Energy Manager using Reinforcement Learning for Energy Harvesting Wearable IoT Devices [0.0]
環境源からのエネルギー収穫は、低エネルギーのウェアラブルデバイスを動かすための有望な解決策である。本稿では,リソース制約のあるウェアラブルIoTデバイスを対象とした,強化学習に基づくエネルギー管理フレームワークであるMintMANを提案する。 littleMANは2.36ms未満と27.75mu$Jを達成し、従来のアプローチに比べて最大45%高いユーティリティを維持している。
論文参考訳（メタデータ） (2022-02-18T16:58:40Z)
Demand Responsive Dynamic Pricing Framework for Prosumer Dominated Microgrids using Multiagent Reinforcement Learning [59.28219519916883]
本稿では,実時間価格(RTP)DR技術を実装したマルチエージェント強化学習に基づく意思決定環境を提案する。提案手法は,従来のDR法に共通するいくつかの欠点に対処し,グリッド演算子とプロシューマーに大きな経済的利益をもたらす。
論文参考訳（メタデータ） (2020-09-23T01:44:57Z)
Resource Management for Blockchain-enabled Federated Learning: A Deep Reinforcement Learning Approach [54.29213445674221]
Federated Learning (BFL)は、機械学習モデル所有者(MLMO)が必要とするニューラルネットワークモデルを、モバイルデバイスが協調的にトレーニングすることを可能にする。 BFLの問題は、モバイルデバイスがシステムの寿命とトレーニング効率を低下させるエネルギーとCPUの制約を持っていることである。我々は,Deep Reinforcement Learning (DRL) を用いて最適決定を導出することを提案する。
論文参考訳（メタデータ） (2020-04-08T16:29:19Z)
Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文参考訳（メタデータ） (2020-02-21T02:14:38Z)
Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable Edge Computing Systems [87.4519172058185]
エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
論文参考訳（メタデータ） (2020-02-20T04:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。