論文の概要: TinyMetaFed: Efficient Federated Meta-Learning for TinyML

• arxiv url: http://arxiv.org/abs/2307.06822v3
• Date: Thu, 28 Sep 2023 14:44:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 10:55:26.292979
• Title: TinyMetaFed: Efficient Federated Meta-Learning for TinyML
• Title（参考訳）: TinyMetaFed: TinyMLの効果的なフェデレーションメタラーニング
• Authors: Haoyu Ren, Xue Li, Darko Anicic, Thomas A. Runkler
• Abstract要約: TinyMLに適したモデルに依存しないメタラーニングフレームワークであるTinyMetaFedを紹介する。 TinyMetaFedはニューラルネットワークの協調トレーニングを支援する。 部分的な局所的な再構築とトッププラスの選択的なコミュニケーションを通じて、コミュニケーションの節約とプライバシ保護を提供する。
• 参考スコア（独自算出の注目度）: 8.940139322528829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of Tiny Machine Learning (TinyML) has made substantial advancements in democratizing machine learning on low-footprint devices, such as microcontrollers. The prevalence of these miniature devices raises the question of whether aggregating their knowledge can benefit TinyML applications. Federated meta-learning is a promising answer to this question, as it addresses the scarcity of labeled data and heterogeneous data distribution across devices in the real world. However, deploying TinyML hardware faces unique resource constraints, making existing methods impractical due to energy, privacy, and communication limitations. We introduce TinyMetaFed, a model-agnostic meta-learning framework suitable for TinyML. TinyMetaFed facilitates collaborative training of a neural network initialization that can be quickly fine-tuned on new devices. It offers communication savings and privacy protection through partial local reconstruction and Top-P% selective communication, computational efficiency via online learning, and robustness to client heterogeneity through few-shot learning. The evaluations on three TinyML use cases demonstrate that TinyMetaFed can significantly reduce energy consumption and communication overhead, accelerate convergence, and stabilize the training process.
• Abstract（参考訳）: Tiny Machine Learning(TinyML)の分野は、マイクロコントローラなどの低フットプリントデバイス上での機械学習の民主化において、大きく進歩している。 これらのミニチュアデバイスの普及は、知識の集約がTinyMLアプリケーションに利益をもたらすかどうかという問題を提起する。 フェデレートされたメタラーニングは、現実世界のデバイス間でのラベル付きデータや異種データ分散の不足に対処するため、この疑問への有望な答えです。 しかし、TinyMLハードウェアのデプロイには独自のリソース制約が伴うため、既存のメソッドはエネルギ、プライバシ、通信の制限により実用的ではない。 TinyMLに適したモデルに依存しないメタラーニングフレームワークであるTinyMetaFedを紹介する。 TinyMetaFedは、新しいデバイスで素早く微調整できるニューラルネットワークの初期化の協調トレーニングを容易にする。 部分的なローカル再構成とトップp%選択的通信による通信の節約とプライバシ保護、オンラインラーニングによる計算効率の向上、およびマイナショット学習によるクライアントの不均一性に対する堅牢性を提供する。 TinyMLの3つのユースケースに対する評価は、TinyMetaFedがエネルギー消費と通信オーバーヘッドを大幅に削減し、収束を加速し、トレーニングプロセスを安定させることを示した。

関連論文リスト

• Semantic Meta-Split Learning: A TinyML Scheme for Few-Shot Wireless Image Classification [50.28867343337997]
  本研究は,TinyMLを用いた無線画像分類のためのセマンティック・コミュニケーション・フレームワークを提案する。 我々は、プライバシ保護を確保しつつ、エンドユーザーによって実行される計算を制限するために分割学習を利用する。 メタ学習は、データ可用性の懸念を克服し、同様のトレーニングされたタスクを利用することで、トレーニングを高速化する。
  論文  参考訳（メタデータ） (2024-09-03T05:56:55Z)
• Mini-Monkey: Alleviating the Semantic Sawtooth Effect for Lightweight MLLMs via Complementary Image Pyramid [87.09900996643516]
  本稿では,高分解能画像処理における意味的不連続性を軽減するための補完画像ピラミッド(CIP)を提案する。 また、冗長な視覚トークンを圧縮することにより、計算オーバーヘッドを増大させるスケール圧縮機構(SCM)を導入する。 我々の実験は、CIPが様々なアーキテクチャで継続的に性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-08-04T13:55:58Z)
• On-device Online Learning and Semantic Management of TinyML Systems [8.183732025472766]
  本研究の目的は,単一TinyMLモデルのプロトタイピングと信頼性の高いTinyMLシステムの開発のギャップを埋めることである。 我々は,制約のあるデバイス上でのトレーニングを可能にするオンライン学習を提案し,最新のフィールド条件に局所モデルを適用する。 モデルとデバイスを大規模に管理するためのセマンティックマネジメントを提案する。
  論文  参考訳（メタデータ） (2024-05-13T10:03:34Z)
• FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
  本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。 大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。 最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
  論文  参考訳（メタデータ） (2023-07-10T21:08:52Z)
• TinyReptile: TinyML with Federated Meta-Learning [9.618821589196624]
  メタラーニングとオンラインラーニングにインスパイアされた,シンプルだが効率的なアルゴリズムであるTinyReptileを提案する。 Raspberry Pi 4とCortex-M4 MCUで256KBのRAMでTinyReptileをデモした。
  論文  参考訳（メタデータ） (2023-04-11T13:11:10Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
  本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。 他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
  論文  参考訳（メタデータ） (2022-10-24T10:59:29Z)
• Intelligence at the Extreme Edge: A Survey on Reformable TinyML [0.0]
  分離が容易な新しい分類法の提案により,改良可能なTinyMLソリューションに関する調査を行った。 TinyMLのワークフローを調査し、特定されたデプロイメントスキームと利用可能なベンチマークツールを分析します。
  論文  参考訳（メタデータ） (2022-04-02T09:53:36Z)
• How to Manage Tiny Machine Learning at Scale: An Industrial Perspective [5.384059021764428]
  TinyML(TinyML)は、ユビキタスマイクロコントローラ上で機械学習(ML)が民主化され、広く普及している。 TinyMLモデルは異なる構造で開発されており、その動作原理を明確に理解せずに配布されることが多い。 本稿では,TinyMLモデルとIoTデバイスを大規模に管理するためのセマンティックWeb技術を用いたフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-18T10:36:11Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)
• TinyOL: TinyML with Online-Learning on Microcontrollers [7.172671995820974]
  TinyML(Tiny Machine Learning)は、汎用マイクロコントローラ(MCU)のディープラーニングの民主化に取り組んでいます。 現在のTinyMLソリューションはバッチ/オフライン設定に基づいており、MCU上のニューラルネットワークの推論のみをサポートする。 本稿では、ストリーミングデータ上でインクリメンタルなオンデバイストレーニングを可能にするtinyml(tinyml with online-learning)という新しいシステムを提案する。
  論文  参考訳（メタデータ） (2021-03-15T11:39:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。