論文の概要: TinyMetaFed: Efficient Federated Meta-Learning for TinyML
- arxiv url: http://arxiv.org/abs/2307.06822v2
- Date: Tue, 26 Sep 2023 09:04:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 17:38:11.083883
- Title: TinyMetaFed: Efficient Federated Meta-Learning for TinyML
- Title(参考訳): TinyMetaFed: TinyMLの効果的なフェデレーションメタラーニング
- Authors: Haoyu Ren, Xue Li, Darko Anicic, Thomas A. Runkler
- Abstract要約: TinyMLに適したモデルに依存しないメタラーニングフレームワークであるTinyMetaFedを紹介する。
TinyMetaFedはニューラルネットワークの協調トレーニングを支援する。
部分的な局所的な再構築とトッププラスの選択的なコミュニケーションを通じて、コミュニケーションの節約とプライバシ保護を提供する。
- 参考スコア(独自算出の注目度): 8.940139322528829
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of Tiny Machine Learning (TinyML) has made substantial advancements
in democratizing machine learning on low-footprint devices, such as
microcontrollers. The prevalence of these miniature devices raises the question
of whether aggregating their knowledge can benefit TinyML applications.
Federated meta-learning is a promising answer to this question, as it addresses
the scarcity of labeled data and heterogeneous data distribution across devices
in the real world. However, deploying TinyML hardware faces unique resource
constraints, making existing methods impractical due to energy, privacy, and
communication limitations. We introduce TinyMetaFed, a model-agnostic
meta-learning framework suitable for TinyML. TinyMetaFed facilitates
collaborative training of a neural network initialization that can be quickly
fine-tuned on new devices. It offers communication savings and privacy
protection through partial local reconstruction and Top-P% selective
communication, computational efficiency via online learning, and robustness to
client heterogeneity through few-shot learning. The evaluations on three TinyML
use cases demonstrate that TinyMetaFed can significantly reduce energy
consumption and communication overhead, accelerate convergence, and stabilize
the training process.
- Abstract(参考訳): Tiny Machine Learning(TinyML)の分野は、マイクロコントローラなどの低フットプリントデバイス上での機械学習の民主化において、大きく進歩している。
これらのミニチュアデバイスの普及は、知識の集約がTinyMLアプリケーションに利益をもたらすかどうかという問題を提起する。
フェデレートされたメタラーニングは、現実世界のデバイス間でのラベル付きデータや異種データ分散の不足に対処するため、この疑問への有望な答えです。
しかし、TinyMLハードウェアのデプロイには独自のリソース制約が伴うため、既存のメソッドはエネルギ、プライバシ、通信の制限により実用的ではない。
TinyMLに適したモデルに依存しないメタラーニングフレームワークであるTinyMetaFedを紹介する。
TinyMetaFedは、新しいデバイスで素早く微調整できるニューラルネットワークの初期化の協調トレーニングを容易にする。
部分的なローカル再構成とトップp%選択的通信による通信の節約とプライバシ保護、オンラインラーニングによる計算効率の向上、およびマイナショット学習によるクライアントの不均一性に対する堅牢性を提供する。
TinyMLの3つのユースケースに対する評価は、TinyMetaFedがエネルギー消費と通信オーバーヘッドを大幅に削減し、収束を加速し、トレーニングプロセスを安定させることを示した。
関連論文リスト
- Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳(メタデータ) (2024-02-28T03:27:10Z) - FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。
大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。
最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文 参考訳(メタデータ) (2023-07-10T21:08:52Z) - TinyReptile: TinyML with Federated Meta-Learning [9.618821589196624]
メタラーニングとオンラインラーニングにインスパイアされた,シンプルだが効率的なアルゴリズムであるTinyReptileを提案する。
Raspberry Pi 4とCortex-M4 MCUで256KBのRAMでTinyReptileをデモした。
論文 参考訳(メタデータ) (2023-04-11T13:11:10Z) - Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation
and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。
最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。
本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文 参考訳(メタデータ) (2023-03-23T02:42:10Z) - A review of TinyML [0.0]
TinyMLの組み込み機械学習の概念は、このような多様性を、通常のハイエンドアプローチからローエンドアプリケーションへと押し上げようとしている。
TinyMLは、機械学習、ソフトウェア、ハードウェアの統合において、急速に拡大する学際的なトピックである。
本稿では,TinyMLがいくつかの産業分野,その障害,その将来的な範囲にどのようなメリットをもたらすのかを考察する。
論文 参考訳(メタデータ) (2022-11-05T06:02:08Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳(メタデータ) (2022-10-24T10:59:29Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳(メタデータ) (2022-09-01T17:05:20Z) - Intelligence at the Extreme Edge: A Survey on Reformable TinyML [0.0]
分離が容易な新しい分類法の提案により,改良可能なTinyMLソリューションに関する調査を行った。
TinyMLのワークフローを調査し、特定されたデプロイメントスキームと利用可能なベンチマークツールを分析します。
論文 参考訳(メタデータ) (2022-04-02T09:53:36Z) - How to Manage Tiny Machine Learning at Scale: An Industrial Perspective [5.384059021764428]
TinyML(TinyML)は、ユビキタスマイクロコントローラ上で機械学習(ML)が民主化され、広く普及している。
TinyMLモデルは異なる構造で開発されており、その動作原理を明確に理解せずに配布されることが多い。
本稿では,TinyMLモデルとIoTデバイスを大規模に管理するためのセマンティックWeb技術を用いたフレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-18T10:36:11Z) - A TinyML Platform for On-Device Continual Learning with Quantized Latent
Replays [66.62377866022221]
Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。
10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。
これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
論文 参考訳(メタデータ) (2021-10-20T11:01:23Z) - TinyOL: TinyML with Online-Learning on Microcontrollers [7.172671995820974]
TinyML(Tiny Machine Learning)は、汎用マイクロコントローラ(MCU)のディープラーニングの民主化に取り組んでいます。
現在のTinyMLソリューションはバッチ/オフライン設定に基づいており、MCU上のニューラルネットワークの推論のみをサポートする。
本稿では、ストリーミングデータ上でインクリメンタルなオンデバイストレーニングを可能にするtinyml(tinyml with online-learning)という新しいシステムを提案する。
論文 参考訳(メタデータ) (2021-03-15T11:39:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。