論文の概要: RockNet: Distributed Learning on Ultra-Low-Power Devices
- arxiv url: http://arxiv.org/abs/2510.13320v1
- Date: Wed, 15 Oct 2025 09:09:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-16 20:13:28.587324
- Title: RockNet: Distributed Learning on Ultra-Low-Power Devices
- Title(参考訳): RockNet: 超低消費電力デバイス上での分散学習
- Authors: Alexander Gräfe, Fabian Mager, Marco Zimmerling, Sebastian Trimpe,
- Abstract要約: 本稿では,超低消費電力ハードウェアに適した新しいTinyML法であるRockNetを提案する。
CPSは複数のデバイスで構成されているため,機械学習と無線通信を統合した分散学習手法を設計する。
この結果から,分散ML,分散コンピューティング,通信の緊密な統合により,最先端の精度で超低消費電力ハードウェアのトレーニングが可能となった。
- 参考スコア(独自算出の注目度): 49.01692357536576
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As Machine Learning (ML) becomes integral to Cyber-Physical Systems (CPS), there is growing interest in shifting training from traditional cloud-based to on-device processing (TinyML), for example, due to privacy and latency concerns. However, CPS often comprise ultra-low-power microcontrollers, whose limited compute resources make training challenging. This paper presents RockNet, a new TinyML method tailored for ultra-low-power hardware that achieves state-of-the-art accuracy in timeseries classification, such as fault or malware detection, without requiring offline pretraining. By leveraging that CPS consist of multiple devices, we design a distributed learning method that integrates ML and wireless communication. RockNet leverages all devices for distributed training of specialized compute efficient classifiers that need minimal communication overhead for parallelization. Combined with tailored and efficient wireless multi-hop communication protocols, our approach overcomes the communication bottleneck that often occurs in distributed learning. Hardware experiments on a testbed with 20 ultra-low-power devices demonstrate RockNet's effectiveness. It successfully learns timeseries classification tasks from scratch, surpassing the accuracy of the latest approach for neural network microcontroller training by up to 2x. RockNet's distributed ML architecture reduces memory, latency and energy consumption per device by up to 90 % when scaling from one central device to 20 devices. Our results show that a tight integration of distributed ML, distributed computing, and communication enables, for the first time, training on ultra-low-power hardware with state-of-the-art accuracy.
- Abstract(参考訳): 機械学習(ML)がCPS(Cyber-Physical Systems)に不可欠なものになるにつれ、例えばプライバシやレイテンシの懸念から、従来のクラウドベースのトレーニングをデバイス上での処理(TinyML)に移行することへの関心が高まっている。
しかし、CPSはしばしば超低消費電力マイクロコントローラで構成され、その限られた計算資源は訓練を困難にしている。
本稿では、オフライン事前トレーニングを必要とせず、障害やマルウェア検出などのタイムリー分類における最先端の精度を実現する、超低消費電力ハードウェアに適した新しいTinyML法であるRockNetを提案する。
CPSは複数のデバイスで構成されているため,MLと無線通信を統合した分散学習手法を設計する。
RockNetは、並列化に最小限の通信オーバーヘッドを必要とする特殊な計算効率の分類器の分散トレーニングに、すべてのデバイスを活用する。
分散学習における通信のボトルネックを克服し,通信プロトコルの最適化と通信効率の向上を両立させる。
20個の超低消費電力デバイスでテストベッド上でのハードウェア実験は、RockNetの有効性を実証している。
ニューラルネットワークのマイクロコントローラトレーニングにおける最新のアプローチの精度を最大2倍に越え、分類タスクをゼロからタイムリーに学習することに成功した。
RockNetの分散MLアーキテクチャは、ひとつの中央デバイスから20デバイスにスケールする場合、デバイス毎のメモリ、レイテンシ、エネルギー消費を最大90%削減する。
この結果から,分散ML,分散コンピューティング,通信の緊密な統合により,最先端の精度で超低消費電力ハードウェアのトレーニングが可能となった。
関連論文リスト
- Federated Split Learning with Model Pruning and Gradient Quantization in Wireless Networks [7.439160287320074]
Federated split learning (FedSL)は、モデル分割によるエッジデバイスとサーバ間の協調トレーニングを実装している。
本稿では,リソース制約のあるエッジデバイスのトレーニング負担を軽減する軽量なFedSL方式を提案する。
提案手法の収束性能を定量化するために理論的解析を行う。
論文 参考訳(メタデータ) (2024-12-09T11:43:03Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳(メタデータ) (2023-12-23T07:47:07Z) - Partitioning Distributed Compute Jobs with Reinforcement Learning and
Graph Neural Networks [58.720142291102135]
大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。
これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。
スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
論文 参考訳(メタデータ) (2023-01-31T17:41:07Z) - PiPar: Pipeline Parallelism for Collaborative Machine Learning [16.131285496487678]
協調機械学習(CML)技術は、複数のモバイルデバイスとサーバにまたがるディープラーニングモデルをトレーニングするために提案されている。
CML技術は、デバイスからの生データをサーバと共有するのではなく、各デバイスでトレーニングされたローカルモデルとしてプライバシ保存される。
低資源利用の主要因として,シーケンシャルな計算と通信により,サーバやデバイス上でのアイドリングリソースを同定する。
論文 参考訳(メタデータ) (2022-12-01T20:51:47Z) - Asynchronous Parallel Incremental Block-Coordinate Descent for
Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。
急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。
本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文 参考訳(メタデータ) (2022-02-07T15:04:15Z) - Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。
過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。
データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
論文 参考訳(メタデータ) (2021-12-07T20:15:39Z) - Device Sampling for Heterogeneous Federated Learning: Theory,
Algorithms, and Implementation [24.084053136210027]
グラフシーケンシャル畳み込みネットワーク(GCN)に基づくサンプリング手法を開発した。
提案手法は,全機器の5%以下をサンプリングしながら,訓練されたモデル精度と必要なリソース利用の両面で,fedl(federated learning)を実質的に上回っている。
論文 参考訳(メタデータ) (2021-01-04T05:59:50Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳(メタデータ) (2020-03-18T05:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。