論文の概要: On-device Online Learning and Semantic Management of TinyML Systems

• arxiv url: http://arxiv.org/abs/2405.07601v2
• Date: Wed, 15 May 2024 20:09:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 11:06:23.992222
• Title: On-device Online Learning and Semantic Management of TinyML Systems
• Title（参考訳）: TinyMLシステムのオンデバイスオンライン学習と意味管理
• Authors: Haoyu Ren, Xue Li, Darko Anicic, Thomas A. Runkler,
• Abstract要約: 本研究の目的は,単一TinyMLモデルのプロトタイピングと信頼性の高いTinyMLシステムの開発のギャップを埋めることである。 我々は,制約のあるデバイス上でのトレーニングを可能にするオンライン学習を提案し,最新のフィールド条件に局所モデルを適用する。 モデルとデバイスを大規模に管理するためのセマンティックマネジメントを提案する。
• 参考スコア（独自算出の注目度）: 8.183732025472766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Tiny Machine Learning (TinyML) empower low-footprint embedded devices for real-time on-device Machine Learning. While many acknowledge the potential benefits of TinyML, its practical implementation presents unique challenges. This study aims to bridge the gap between prototyping single TinyML models and developing reliable TinyML systems in production: (1) Embedded devices operate in dynamically changing conditions. Existing TinyML solutions primarily focus on inference, with models trained offline on powerful machines and deployed as static objects. However, static models may underperform in the real world due to evolving input data distributions. We propose online learning to enable training on constrained devices, adapting local models towards the latest field conditions. (2) Nevertheless, current on-device learning methods struggle with heterogeneous deployment conditions and the scarcity of labeled data when applied across numerous devices. We introduce federated meta-learning incorporating online learning to enhance model generalization, facilitating rapid learning. This approach ensures optimal performance among distributed devices by knowledge sharing. (3) Moreover, TinyML's pivotal advantage is widespread adoption. Embedded devices and TinyML models prioritize extreme efficiency, leading to diverse characteristics ranging from memory and sensors to model architectures. Given their diversity and non-standardized representations, managing these resources becomes challenging as TinyML systems scale up. We present semantic management for the joint management of models and devices at scale. We demonstrate our methods through a basic regression example and then assess them in three real-world TinyML applications: handwritten character image classification, keyword audio classification, and smart building presence detection, confirming our approaches' effectiveness.
• Abstract（参考訳）: Tiny Machine Learning(TinyML)の最近の進歩は、リアルタイムオンデバイス機械学習のためのローフットプリント組み込みデバイスに力を与える。 TinyMLの潜在的なメリットを認めている人は多いが、その実践的実装にはユニークな課題がある。 本研究の目的は,単一TinyMLモデルのプロトタイピングと信頼性の高いTinyMLシステムの開発のギャップを埋めることである。 既存のTinyMLソリューションは主に推論に重点を置いており、モデルは強力なマシン上でオフラインでトレーニングされ、静的オブジェクトとしてデプロイされる。 しかし、静的モデルは、入力データ分布の進化により実世界では性能が劣る可能性がある。 我々は,制約のあるデバイス上でのトレーニングを可能にするオンライン学習を提案し,最新のフィールド条件に局所モデルを適用する。 2)現在のデバイス上での学習手法は,異種展開条件や多数のデバイスに適用した場合のラベル付きデータの不足に苦慮している。 オンライン学習を取り入れたフェデレーション型メタラーニングを導入し、モデル一般化を強化し、迅速な学習を容易にする。 このアプローチは、知識共有による分散デバイス間の最適性能を保証する。 (3) TinyMLの主な利点は広く採用されていることである。 組み込みデバイスとTinyMLモデルは極端な効率を優先し、メモリやセンサーからモデルアーキテクチャまでさまざまな特性をもたらす。 多様性と非標準化された表現を考えると、TinyMLシステムがスケールアップするにつれて、これらのリソースの管理は困難になる。 モデルとデバイスを大規模に管理するためのセマンティックマネジメントを提案する。 提案手法を基本的な回帰例を用いて実証し,手書き文字画像分類,キーワード音声分類,スマートビルディング存在検出の3つの現実的TinyMLアプリケーションで評価し,提案手法の有効性を確認した。

関連論文リスト

• TinySV: Speaker Verification in TinyML with On-device Learning [2.356162747014486]
  本稿では,提案した TextitTiny Speaker Verification (TinySV) などのタスクで使用可能な,新しいタイプの適応型TinyMLソリューションを提案する。 提案したTinySVソリューションは、キーワードスポッティングと適応話者検証モジュールで構成される2層階層のTinyMLソリューションに依存している。 我々は,提案したTinySVソリューションの有効性と有効性を評価し,提案したソリューションを実世界のIoTデバイス上でテストした。
  論文  参考訳（メタデータ） (2024-06-03T17:27:40Z)
• Optimization of Lightweight Malware Detection Models For AIoT Devices [2.4947404267499587]
  マルウェア侵入はInternet of Things(IoT)とArtificial Intelligence of Things(AIoT)デバイスの問題である。 本研究の目的は、提案するスーパーラーナーメタ学習アンサンブルモデルを最適化して、ローエンドのAIoTデバイスで実現できるようにすることである。
  論文  参考訳（メタデータ） (2024-04-06T09:30:38Z)
• TinyMetaFed: Efficient Federated Meta-Learning for TinyML [8.940139322528829]
  TinyMLに適したモデルに依存しないメタラーニングフレームワークであるTinyMetaFedを紹介する。 TinyMetaFedはニューラルネットワークの協調トレーニングを支援する。 部分的な局所的な再構築とトッププラスの選択的なコミュニケーションを通じて、コミュニケーションの節約とプライバシ保護を提供する。
  論文  参考訳（メタデータ） (2023-07-13T15:39:26Z)
• FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
  本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。 大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。 最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
  論文  参考訳（メタデータ） (2023-07-10T21:08:52Z)
• TinyReptile: TinyML with Federated Meta-Learning [9.618821589196624]
  メタラーニングとオンラインラーニングにインスパイアされた,シンプルだが効率的なアルゴリズムであるTinyReptileを提案する。 Raspberry Pi 4とCortex-M4 MCUで256KBのRAMでTinyReptileをデモした。
  論文  参考訳（メタデータ） (2023-04-11T13:11:10Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
  本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。 他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
  論文  参考訳（メタデータ） (2022-10-24T10:59:29Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• How to Manage Tiny Machine Learning at Scale: An Industrial Perspective [5.384059021764428]
  TinyML(TinyML)は、ユビキタスマイクロコントローラ上で機械学習(ML)が民主化され、広く普及している。 TinyMLモデルは異なる構造で開発されており、その動作原理を明確に理解せずに配布されることが多い。 本稿では,TinyMLモデルとIoTデバイスを大規模に管理するためのセマンティックWeb技術を用いたフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-18T10:36:11Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。