論文の概要: On-device Online Learning and Semantic Management of TinyML Systems
- arxiv url: http://arxiv.org/abs/2405.07601v2
- Date: Wed, 15 May 2024 20:09:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 11:06:23.992222
- Title: On-device Online Learning and Semantic Management of TinyML Systems
- Title（参考訳）: TinyMLシステムのオンデバイスオンライン学習と意味管理
- Authors: Haoyu Ren, Xue Li, Darko Anicic, Thomas A. Runkler,
- Abstract要約: 本研究の目的は,単一TinyMLモデルのプロトタイピングと信頼性の高いTinyMLシステムの開発のギャップを埋めることである。
我々は,制約のあるデバイス上でのトレーニングを可能にするオンライン学習を提案し,最新のフィールド条件に局所モデルを適用する。
モデルとデバイスを大規模に管理するためのセマンティックマネジメントを提案する。
- 参考スコア（独自算出の注目度）: 8.183732025472766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Tiny Machine Learning (TinyML) empower low-footprint embedded devices for real-time on-device Machine Learning. While many acknowledge the potential benefits of TinyML, its practical implementation presents unique challenges. This study aims to bridge the gap between prototyping single TinyML models and developing reliable TinyML systems in production: (1) Embedded devices operate in dynamically changing conditions. Existing TinyML solutions primarily focus on inference, with models trained offline on powerful machines and deployed as static objects. However, static models may underperform in the real world due to evolving input data distributions. We propose online learning to enable training on constrained devices, adapting local models towards the latest field conditions. (2) Nevertheless, current on-device learning methods struggle with heterogeneous deployment conditions and the scarcity of labeled data when applied across numerous devices. We introduce federated meta-learning incorporating online learning to enhance model generalization, facilitating rapid learning. This approach ensures optimal performance among distributed devices by knowledge sharing. (3) Moreover, TinyML's pivotal advantage is widespread adoption. Embedded devices and TinyML models prioritize extreme efficiency, leading to diverse characteristics ranging from memory and sensors to model architectures. Given their diversity and non-standardized representations, managing these resources becomes challenging as TinyML systems scale up. We present semantic management for the joint management of models and devices at scale. We demonstrate our methods through a basic regression example and then assess them in three real-world TinyML applications: handwritten character image classification, keyword audio classification, and smart building presence detection, confirming our approaches' effectiveness.
- Abstract（参考訳）: Tiny Machine Learning(TinyML)の最近の進歩は、リアルタイムオンデバイス機械学習のためのローフットプリント組み込みデバイスに力を与える。
TinyMLの潜在的なメリットを認めている人は多いが、その実践的実装にはユニークな課題がある。
本研究の目的は,単一TinyMLモデルのプロトタイピングと信頼性の高いTinyMLシステムの開発のギャップを埋めることである。
既存のTinyMLソリューションは主に推論に重点を置いており、モデルは強力なマシン上でオフラインでトレーニングされ、静的オブジェクトとしてデプロイされる。
しかし、静的モデルは、入力データ分布の進化により実世界では性能が劣る可能性がある。
我々は,制約のあるデバイス上でのトレーニングを可能にするオンライン学習を提案し,最新のフィールド条件に局所モデルを適用する。
2)現在のデバイス上での学習手法は,異種展開条件や多数のデバイスに適用した場合のラベル付きデータの不足に苦慮している。
オンライン学習を取り入れたフェデレーション型メタラーニングを導入し、モデル一般化を強化し、迅速な学習を容易にする。
このアプローチは、知識共有による分散デバイス間の最適性能を保証する。
(3) TinyMLの主な利点は広く採用されていることである。
組み込みデバイスとTinyMLモデルは極端な効率を優先し、メモリやセンサーからモデルアーキテクチャまでさまざまな特性をもたらす。
多様性と非標準化された表現を考えると、TinyMLシステムがスケールアップするにつれて、これらのリソースの管理は困難になる。
モデルとデバイスを大規模に管理するためのセマンティックマネジメントを提案する。
提案手法を基本的な回帰例を用いて実証し,手書き文字画像分類,キーワード音声分類,スマートビルディング存在検出の3つの現実的TinyMLアプリケーションで評価し,提案手法の有効性を確認した。
関連論文リスト
- Fast Data Aware Neural Architecture Search via Supernet Accelerated Evaluation [0.43550340493919387]
TinyML(TinyML)は、医療、環境モニタリング、産業保守といった分野に革命をもたらすことを約束している。
TinyMLデプロイメントの成功に必要な複雑な最適化は、広く採用されていることを妨げ続けている。
本稿では,最新のデータ認識ニューラルアーキテクチャ検索手法を提案し,新しいTinyML VisionWakeデータセットの有効性を実証する。
論文 参考訳（メタデータ） (2025-02-18T09:51:03Z) - Consolidating TinyML Lifecycle with Large Language Models: Reality, Illusion, or Opportunity? [3.1471494780647795]
本稿では,Large Language Models(LLM)がTinyMLライフサイクルの自動化と合理化に有効かどうかを考察する。
我々は,自然言語処理(NLP)とLLMのコード生成機能を活用して開発時間を短縮し,TinyMLデプロイメントの参入障壁を低くするフレームワークを開発した。
論文 参考訳（メタデータ） (2025-01-20T22:20:57Z) - Benchmarking Large and Small MLLMs [71.78055760441256]
大規模なマルチモーダル言語モデル(MLLM)は、マルチモーダルコンテンツの理解と生成において顕著な進歩を遂げている。
しかし、そのデプロイメントは、遅い推論、高い計算コスト、デバイス上のアプリケーションに対する非現実性など、重大な課題に直面している。
LLavaシリーズモデルとPhi-3-Visionによって実証された小さなMLLMは、より高速な推論、デプロイメントコストの削減、ドメイン固有のシナリオを扱う能力を備えた有望な代替手段を提供する。
論文 参考訳（メタデータ） (2025-01-04T07:44:49Z) - SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。
トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。
コードとモデルはリリースされます。
論文 参考訳（メタデータ） (2024-12-12T18:59:26Z) - TinyMetaFed: Efficient Federated Meta-Learning for TinyML [8.940139322528829]
TinyMLに適したモデルに依存しないメタラーニングフレームワークであるTinyMetaFedを紹介する。
TinyMetaFedはニューラルネットワークの協調トレーニングを支援する。
部分的な局所的な再構築とトッププラスの選択的なコミュニケーションを通じて、コミュニケーションの節約とプライバシ保護を提供する。
論文 参考訳（メタデータ） (2023-07-13T15:39:26Z) - FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。
大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。
最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文 参考訳（メタデータ） (2023-07-10T21:08:52Z) - TinyReptile: TinyML with Federated Meta-Learning [9.618821589196624]
メタラーニングとオンラインラーニングにインスパイアされた,シンプルだが効率的なアルゴリズムであるTinyReptileを提案する。
Raspberry Pi 4とCortex-M4 MCUで256KBのRAMでTinyReptileをデモした。
論文 参考訳（メタデータ） (2023-04-11T13:11:10Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳（メタデータ） (2022-10-24T10:59:29Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳（メタデータ） (2022-09-01T17:05:20Z) - How to Manage Tiny Machine Learning at Scale: An Industrial Perspective [5.384059021764428]
TinyML(TinyML)は、ユビキタスマイクロコントローラ上で機械学習(ML)が民主化され、広く普及している。
TinyMLモデルは異なる構造で開発されており、その動作原理を明確に理解せずに配布されることが多い。
本稿では,TinyMLモデルとIoTデバイスを大規模に管理するためのセマンティックWeb技術を用いたフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-18T10:36:11Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。