論文の概要: TinyReptile: TinyML with Federated Meta-Learning
- arxiv url: http://arxiv.org/abs/2304.05201v1
- Date: Tue, 11 Apr 2023 13:11:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 14:54:14.469275
- Title: TinyReptile: TinyML with Federated Meta-Learning
- Title（参考訳）: tinyreptile: フェデレーションメタラーニングを備えたtinyml
- Authors: Haoyu Ren, Darko Anicic, Thomas A. Runkler
- Abstract要約: メタラーニングとオンラインラーニングにインスパイアされた,シンプルだが効率的なアルゴリズムであるTinyReptileを提案する。
Raspberry Pi 4とCortex-M4 MCUで256KBのRAMでTinyReptileをデモした。
- 参考スコア（独自算出の注目度）: 9.618821589196624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tiny machine learning (TinyML) is a rapidly growing field aiming to
democratize machine learning (ML) for resource-constrained microcontrollers
(MCUs). Given the pervasiveness of these tiny devices, it is inherent to ask
whether TinyML applications can benefit from aggregating their knowledge.
Federated learning (FL) enables decentralized agents to jointly learn a global
model without sharing sensitive local data. However, a common global model may
not work for all devices due to the complexity of the actual deployment
environment and the heterogeneity of the data available on each device. In
addition, the deployment of TinyML hardware has significant computational and
communication constraints, which traditional ML fails to address. Considering
these challenges, we propose TinyReptile, a simple but efficient algorithm
inspired by meta-learning and online learning, to collaboratively learn a solid
initialization for a neural network (NN) across tiny devices that can be
quickly adapted to a new device with respect to its data. We demonstrate
TinyReptile on Raspberry Pi 4 and Cortex-M4 MCU with only 256-KB RAM. The
evaluations on various TinyML use cases confirm a resource reduction and
training time saving by at least two factors compared with baseline algorithms
with comparable performance.
- Abstract（参考訳）: TinyML(TinyML)は、リソース制約されたマイクロコントローラ(MCU)のための機械学習(ML)の民主化を目的とした、急速に成長する分野である。
これらの小さなデバイスが広く普及していることを考えると、TinyMLアプリケーションが知識を集約することでメリットを享受できるかどうかを問うことは本質的です。
フェデレートラーニング(FL)は、分散エージェントが機密データを共有することなくグローバルモデルを共同で学習することを可能にする。
しかし、実際のデプロイメント環境の複雑さと各デバイスで利用可能なデータの均一性のため、一般的なグローバルモデルはすべてのデバイスで機能しない可能性がある。
さらに、TinyMLハードウェアのデプロイには計算と通信の制約があり、従来のMLでは対応できない。
これらの課題を考慮して、我々は、メタラーニングとオンラインラーニングにインスパイアされたシンプルだが効率的なアルゴリズムであるTinyReptileを提案し、そのデータに対して迅速に新しいデバイスに適応できる小さなデバイス間で、ニューラルネットワーク(NN)の強固な初期化を協調的に学習する。
Raspberry Pi 4 と Cortex-M4 MCU で TinyReptile をデモした。
TinyMLのさまざまなユースケースの評価では、同等の性能のベースラインアルゴリズムと比較して、リソースの削減とトレーニング時間の削減が少なくとも2つの要因で確認されている。
関連論文リスト
- TIFeD: a Tiny Integer-based Federated learning algorithm with Direct feedback alignment [47.39949471062935]
リソース制約のあるデバイス上でのトレーニングマシンとディープラーニングモデルは、小さな機械学習分野における次の課題である。
提案したアルゴリズムは、完全なネットワークと単一層実装を備え、科学界でパブリックリポジトリとして利用可能である。
論文 参考訳（メタデータ） (2024-11-25T14:44:26Z) - TinySV: Speaker Verification in TinyML with On-device Learning [2.356162747014486]
本稿では,提案した TextitTiny Speaker Verification (TinySV) などのタスクで使用可能な,新しいタイプの適応型TinyMLソリューションを提案する。
提案したTinySVソリューションは、キーワードスポッティングと適応話者検証モジュールで構成される2層階層のTinyMLソリューションに依存している。
我々は,提案したTinySVソリューションの有効性と有効性を評価し,提案したソリューションを実世界のIoTデバイス上でテストした。
論文 参考訳（メタデータ） (2024-06-03T17:27:40Z) - On-device Online Learning and Semantic Management of TinyML Systems [8.183732025472766]
本研究の目的は,単一TinyMLモデルのプロトタイピングと信頼性の高いTinyMLシステムの開発のギャップを埋めることである。
我々は,制約のあるデバイス上でのトレーニングを可能にするオンライン学習を提案し,最新のフィールド条件に局所モデルを適用する。
モデルとデバイスを大規模に管理するためのセマンティックマネジメントを提案する。
論文 参考訳（メタデータ） (2024-05-13T10:03:34Z) - Deformable Mixer Transformer with Gating for Multi-Task Learning of
Dense Prediction [126.34551436845133]
CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。
本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
論文 参考訳（メタデータ） (2023-08-10T17:37:49Z) - TinyMetaFed: Efficient Federated Meta-Learning for TinyML [8.940139322528829]
TinyMLに適したモデルに依存しないメタラーニングフレームワークであるTinyMetaFedを紹介する。
TinyMetaFedはニューラルネットワークの協調トレーニングを支援する。
部分的な局所的な再構築とトッププラスの選択的なコミュニケーションを通じて、コミュニケーションの節約とプライバシ保護を提供する。
論文 参考訳（メタデータ） (2023-07-13T15:39:26Z) - FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。
大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。
最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文 参考訳（メタデータ） (2023-07-10T21:08:52Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳（メタデータ） (2022-10-24T10:59:29Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳（メタデータ） (2022-09-01T17:05:20Z) - How to Manage Tiny Machine Learning at Scale: An Industrial Perspective [5.384059021764428]
TinyML(TinyML)は、ユビキタスマイクロコントローラ上で機械学習(ML)が民主化され、広く普及している。
TinyMLモデルは異なる構造で開発されており、その動作原理を明確に理解せずに配布されることが多い。
本稿では,TinyMLモデルとIoTデバイスを大規模に管理するためのセマンティックWeb技術を用いたフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-18T10:36:11Z) - A TinyML Platform for On-Device Continual Learning with Quantized Latent
Replays [66.62377866022221]
Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。
10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。
これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
論文 参考訳（メタデータ） (2021-10-20T11:01:23Z) - TinyOL: TinyML with Online-Learning on Microcontrollers [7.172671995820974]
TinyML(Tiny Machine Learning)は、汎用マイクロコントローラ(MCU)のディープラーニングの民主化に取り組んでいます。
現在のTinyMLソリューションはバッチ/オフライン設定に基づいており、MCU上のニューラルネットワークの推論のみをサポートする。
本稿では、ストリーミングデータ上でインクリメンタルなオンデバイストレーニングを可能にするtinyml(tinyml with online-learning)という新しいシステムを提案する。
論文 参考訳（メタデータ） (2021-03-15T11:39:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。