論文の概要: DTMM: Deploying TinyML Models on Extremely Weak IoT Devices with Pruning
- arxiv url: http://arxiv.org/abs/2401.09068v1
- Date: Wed, 17 Jan 2024 09:01:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 16:39:41.251935
- Title: DTMM: Deploying TinyML Models on Extremely Weak IoT Devices with Pruning
- Title（参考訳）: DTMM:プルーニングで極薄のIoTデバイスにTinyMLモデルをデプロイする
- Authors: Lixiang Han, Zhen Xiao, Zhenjiang Li
- Abstract要約: DTMMは、弱いIoTデバイス上で機械学習モデルの効率的なデプロイと実行のために設計されたライブラリである。
DTMMを設計する動機は、小さな機械学習(TinyML)の新たな分野から来ている。
本稿では, プルーニング単位の選択, 実行前プルーニング最適化, 実行時アクセラレーション, 実行後低コストストレージによるDTMMを提案し, プルーニングモデルの効率的なデプロイと実行のギャップを埋める。
- 参考スコア（独自算出の注目度）: 12.014366791775027
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: DTMM is a library designed for efficient deployment and execution of machine
learning models on weak IoT devices such as microcontroller units (MCUs). The
motivation for designing DTMM comes from the emerging field of tiny machine
learning (TinyML), which explores extending the reach of machine learning to
many low-end IoT devices to achieve ubiquitous intelligence. Due to the weak
capability of embedded devices, it is necessary to compress models by pruning
enough weights before deploying. Although pruning has been studied extensively
on many computing platforms, two key issues with pruning methods are
exacerbated on MCUs: models need to be deeply compressed without significantly
compromising accuracy, and they should perform efficiently after pruning.
Current solutions only achieve one of these objectives, but not both. In this
paper, we find that pruned models have great potential for efficient deployment
and execution on MCUs. Therefore, we propose DTMM with pruning unit selection,
pre-execution pruning optimizations, runtime acceleration, and post-execution
low-cost storage to fill the gap for efficient deployment and execution of
pruned models. It can be integrated into commercial ML frameworks for practical
deployment, and a prototype system has been developed. Extensive experiments on
various models show promising gains compared to state-of-the-art methods.
- Abstract（参考訳）: DTMMは、マイクロコントローラユニット(MCU)のような弱いIoTデバイス上での機械学習モデルの効率的なデプロイと実行のために設計されたライブラリである。
DTMMを設計する動機は、ユビキタスインテリジェンスを達成するために、マシンラーニングのリーチを多くのローエンドIoTデバイスに拡張することを検討する、小さな機械学習(TinyML)の新興分野から来ている。
組込み装置の弱い能力のため、展開前に十分な重量を刻むことでモデルを圧縮する必要がある。
多くのコンピューティングプラットフォームでプルーニングが広く研究されているが、プルーニング手法の2つの重要な問題はMCUで悪化している。
現在のソリューションは、これらの目標の1つしか達成していないが、両方ではない。
本稿では,prunedモデルがmcu上での効率的なデプロイと実行に非常に有益であることを示す。
そこで本研究では,pruning unit selection, pre-execution pruning optimizations, runtime acceleration, and post-execution low-cost storageを備えたdtmmを提案する。
商用のMLフレームワークに統合して実際のデプロイが可能で、プロトタイプシステムも開発されている。
様々なモデルに対する広範囲な実験は、最先端の手法と比較して有望な成果を示している。
関連論文リスト
- On-device Online Learning and Semantic Management of TinyML Systems [8.183732025472766]
本研究の目的は,単一TinyMLモデルのプロトタイピングと信頼性の高いTinyMLシステムの開発のギャップを埋めることである。
我々は,制約のあるデバイス上でのトレーニングを可能にするオンライン学習を提案し,最新のフィールド条件に局所モデルを適用する。
モデルとデバイスを大規模に管理するためのセマンティックマネジメントを提案する。
論文 参考訳（メタデータ） (2024-05-13T10:03:34Z) - Optimization of Lightweight Malware Detection Models For AIoT Devices [2.4947404267499587]
マルウェア侵入はInternet of Things(IoT)とArtificial Intelligence of Things(AIoT)デバイスの問題である。
本研究の目的は、提案するスーパーラーナーメタ学習アンサンブルモデルを最適化して、ローエンドのAIoTデバイスで実現できるようにすることである。
論文 参考訳（メタデータ） (2024-04-06T09:30:38Z) - MoPE-CLIP: Structured Pruning for Efficient Vision-Language Models with
Module-wise Pruning Error Metric [57.3330687266266]
より小さな事前学習モデルを用いてCLIPモデルに等級に基づくプルーニングを適用すると、柔軟性が低下し、性能が低下することがわかった。
The Module-wise Pruning Error (MoPE) metric, we introduced a unified pruning framework for both pre-training and task-specific fine-tuning compression stage。
論文 参考訳（メタデータ） (2024-03-12T17:24:26Z) - MatFormer: Nested Transformer for Elastic Inference [94.1789252941718]
MatFormerは、様々なデプロイメント制約で弾力性を提供するように設計されたネストトランスフォーマーアーキテクチャである。
2.6BデコーダのみのMatFormer言語モデル(MatLM)は1.5Bから2.6Bまでの小さなモデルを抽出できることを示す。
また,MatFormerベースのViT(MatViT)エンコーダから抽出した小さなエンコーダは,適応的な大規模検索のための距離空間構造を保持する。
論文 参考訳（メタデータ） (2023-10-11T17:57:14Z) - U-TOE: Universal TinyML On-board Evaluation Toolkit for Low-Power IoT [3.981958767941474]
U-TOEはIoTデザイナと研究者の作業を容易にするために設計されたユニバーサルツールキットである。
我々は,U-TOEのオープンソース実装を提供し,様々なモデルの性能を実験的に評価するためにその利用を実証する。
論文 参考訳（メタデータ） (2023-06-26T10:35:31Z) - SWARM Parallelism: Training Large Models Can Be Surprisingly
Communication-Efficient [69.61083127540776]
ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。
これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。
安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
論文 参考訳（メタデータ） (2023-01-27T18:55:19Z) - MetaNetwork: A Task-agnostic Network Parameters Generation Framework for
Improving Device Model Generalization [65.02542875281233]
そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。
MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。
MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
論文 参考訳（メタデータ） (2022-09-12T13:26:26Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳（メタデータ） (2022-09-01T17:05:20Z) - YONO: Modeling Multiple Heterogeneous Neural Networks on
Microcontrollers [10.420617367363047]
YONOは製品量子化(PQ)ベースのアプローチで、複数の異種モデルを圧縮し、インメモリモデルの実行と切り替えを可能にする。
YONOは、複数の異種モデルを無視できるか、または12.37$times$まで精度を損なわないで圧縮できるので、優れた性能を示している。
論文 参考訳（メタデータ） (2022-03-08T01:24:36Z) - CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。
我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。
計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文 参考訳（メタデータ） (2021-06-20T15:43:54Z) - Prune2Edge: A Multi-Phase Pruning Pipelines to Deep Ensemble Learning in
IIoT [0.0]
IIoTデバイス上での学習をアンサンブルするためのエッジベースのマルチフェーズ・プルーニングパイプラインを提案する。
第1フェーズでは、様々なプルーンドモデルのアンサンブルを生成し、次いで整数量子化を適用し、次にクラスタリングに基づく手法を用いて生成されたアンサンブルをプルークする。
提案手法は,ベースラインモデルの予測可能性レベルより優れていた。
論文 参考訳（メタデータ） (2020-04-09T17:44:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。