論文の概要: Federated Learning-Distillation Alternation for Resource-Constrained IoT
- arxiv url: http://arxiv.org/abs/2505.20456v1
- Date: Mon, 26 May 2025 18:52:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.259071
- Title: Federated Learning-Distillation Alternation for Resource-Constrained IoT
- Title(参考訳): 資源制約型IoTのためのフェデレートラーニング蒸留代替
- Authors: Rafael Valente da Silva, Onel L. Alcaraz López, Richard Demo Souza,
- Abstract要約: フェデレートラーニング(FL)は、エネルギーと通信資源のデバイス制限のため、モノのインターネット(Internet of Things)ネットワークにおいて重大な課題に直面している。
本稿ではFL-distillation alternation (FLDA)を提案する。
- 参考スコア(独自算出の注目度): 10.27117541872643
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) faces significant challenges in Internet of Things (IoT) networks due to device limitations in energy and communication resources, especially when considering the large size of FL models. From an energy perspective, the challenge is aggravated if devices rely on energy harvesting (EH), as energy availability can vary significantly over time, influencing the average number of participating users in each iteration. Additionally, the transmission of large model updates is more susceptible to interference from uncorrelated background traffic in shared wireless environments. As an alternative, federated distillation (FD) reduces communication overhead and energy consumption by transmitting local model outputs, which are typically much smaller than the entire model used in FL. However, this comes at the cost of reduced model accuracy. Therefore, in this paper, we propose FL-distillation alternation (FLDA). In FLDA, devices alternate between FD and FL phases, balancing model information with lower communication overhead and energy consumption per iteration. We consider a multichannel slotted-ALOHA EH-IoT network subject to background traffic/interference. In such a scenario, FLDA demonstrates higher model accuracy than both FL and FD, and achieves faster convergence than FL. Moreover, FLDA achieves target accuracies saving up to 98% in energy consumption, while also being less sensitive to interference, both relative to FL.
- Abstract(参考訳): フェデレートラーニング(FL)は、特にFLモデルの大きさを考慮すると、エネルギーと通信リソースのデバイス制限のため、IoT(Internet of Things)ネットワークにおいて大きな課題に直面している。
エネルギーの観点からは、デバイスがエネルギー収穫(EH)に依存している場合、エネルギーの可利用性は時間とともに大きく変化し、各イテレーションにおける平均ユーザ数に影響を与えるため、課題は増大する。
さらに、大規模なモデル更新の送信は、共有無線環境における非相関なバックグラウンドトラフィックの干渉の影響を受けやすい。
代替として、フェデレート蒸留(FD)はローカルモデル出力を送信することで通信オーバーヘッドとエネルギー消費を減らす。
しかし、これはモデルの精度を下げるコストがかかる。
そこで本研究ではFL-distillation alternation (FLDA)を提案する。
FLDAでは、デバイスはFDとFLフェーズを交互に切り替え、モデルの情報をより少ない通信オーバーヘッドとイテレーション毎のエネルギー消費のバランスをとる。
背景トラフィック/干渉を考慮したマルチチャネルスロット型ALOHA EH-IoTネットワークについて検討する。
このようなシナリオでは、FLDAはFLとFDの両方よりも高いモデル精度を示し、FLよりも高速な収束を実現する。
さらに、FLDAは最大で98%のエネルギー消費を削減できるが、FLと比較して干渉に敏感ではない。
関連論文リスト
- Joint Energy and Latency Optimization in Federated Learning over Cell-Free Massive MIMO Networks [36.6868658064971]
Federated Learning(FL)は、ユーザが生のデータセットではなくサーバとFLモデルを交換する分散学習パラダイムである。
セルフリーの大規模マルチインプット多重出力(CFmMIMO)はFLを実装する上で有望なアーキテクチャである。
本稿では、各ユーザの電力が他のユーザのエネルギーとレイテンシに与える影響を考慮し、FLにおけるCFmMIMO上のアップリンク電力割り当て方式を提案する。
論文 参考訳(メタデータ) (2024-04-28T19:24:58Z) - Energy and Spectrum Efficient Federated Learning via High-Precision
Over-the-Air Computation [26.499025986273832]
フェデレートラーニング(FL)は、データをローカルに保持しながら、モバイルデバイスが共同で共有予測モデルを学ぶことを可能にする。
モバイルデバイス上でFLを実際にデプロイする上で,2つの大きな研究課題がある。
FLにおける局所モデル更新のスペクトル効率向上のためのマルチビットオーバー・ザ・エアコン(M-AirComp)手法を提案する。
論文 参考訳(メタデータ) (2022-08-15T14:47:21Z) - Resource Allocation for Compression-aided Federated Learning with High
Distortion Rate [3.7530276852356645]
我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。
参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
論文 参考訳(メタデータ) (2022-06-02T05:00:37Z) - HCFL: A High Compression Approach for Communication-Efficient Federated
Learning in Very Large Scale IoT Networks [27.963991995365532]
フェデレートラーニング(FL)は、IoT(Internet-of-Things)デバイスが、処理のために生データを集中ノードに送信することなく、コラボレーティブモデルを学ぶことを可能にする、新たな人工知能の概念である。
多数のアドバンテージにもかかわらず、IoTデバイスの低コンピューティングリソースとモデルパラメータを交換するための高い通信コストは、巨大なIoTネットワークにおけるFLの応用を極めて限定している。
我々は,大規模IoTネットワークのための高速圧縮フェデレーション学習(HCFL)と呼ばれるFLのための新しい圧縮スキームを開発した。
論文 参考訳(メタデータ) (2022-04-14T05:29:40Z) - SlimFL: Federated Learning with Superposition Coding over Slimmable
Neural Networks [56.68149211499535]
フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。
本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳(メタデータ) (2022-03-26T15:06:13Z) - FLAME: Federated Learning Across Multi-device Environments [9.810211000961647]
Federated Learning (FL)は、マシンラーニングモデルの分散トレーニングを可能にし、ユーザデバイス上の個人情報をプライベートに保持する。
ユーザ中心のFLAME学習手法であるFLAMEを提案する。
その結果,FLAMEはF-1スコアが4.8~33.8%,エネルギー効率が1.02~2.86倍,収束速度が2.02倍に向上した。
論文 参考訳(メタデータ) (2022-02-17T22:23:56Z) - Exploring Deep Reinforcement Learning-Assisted Federated Learning for
Online Resource Allocation in EdgeIoT [53.68792408315411]
フェデレートラーニング(FL)は、モバイルエッジコンピューティングベースのInternet of Thing(EdgeIoT)における盗聴攻撃からデータトレーニングプライバシを保護するために、ますます検討されている。
本研究では,連続領域における最適精度とエネルギー収支を達成するために,FLDLT3フレームワークを提案する。
その結果、FL-DLT3は100回未満の高速収束を実現し、FLの精度-エネルギー消費比は既存の最先端ベンチマークと比較して51.8%向上した。
論文 参考訳(メタデータ) (2022-02-15T13:36:15Z) - Communication and Energy Efficient Slimmable Federated Learning via
Superposition Coding and Successive Decoding [55.58665303852148]
フェデレートラーニング(FL)は、生データの代わりにローカルにトレーニングされたモデルを交換することで、プライベートデータを利用する大きな可能性を持っている。
我々はSlimFLという新しいエネルギー・通信効率のFLフレームワークを提案する。
SlimFLは0.5$xモデルと1.0$xモデルの両方を適切な精度と収束速度で同時に訓練できることを示す。
論文 参考訳(メタデータ) (2021-12-05T13:35:26Z) - Joint Superposition Coding and Training for Federated Learning over
Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。
FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳(メタデータ) (2021-12-05T11:17:17Z) - Federated Learning in the Sky: Joint Power Allocation and Scheduling
with UAV Swarms [98.78553146823829]
無人航空機(UAV)は様々なタスクを実行するために機械学習(ML)を利用する必要がある。
本稿では,UAVスワム内に分散学習(FL)アルゴリズムを実装するための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T14:04:01Z) - Convergence Time Optimization for Federated Learning over Wireless
Networks [160.82696473996566]
無線ユーザが(ローカル収集データを用いて訓練した)ローカルFLモデルを基地局(BS)に送信する無線ネットワークを考える。
中央コントローラとして機能するBSは、受信したローカルFLモデルを使用してグローバルFLモデルを生成し、それを全ユーザにブロードキャストする。
無線ネットワークにおけるリソースブロック(RB)の数が限られているため、ローカルFLモデルパラメータをBSに送信するために選択できるのは一部のユーザのみである。
各ユーザが独自のトレーニングデータサンプルを持っているため、BSは、収束したグローバルFLモデルを生成するために、すべてのローカルユーザFLモデルを含むことを好んでいる。
論文 参考訳(メタデータ) (2020-01-22T01:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。