論文の概要: HCFL: A High Compression Approach for Communication-Efficient Federated
Learning in Very Large Scale IoT Networks
- arxiv url: http://arxiv.org/abs/2204.06760v1
- Date: Thu, 14 Apr 2022 05:29:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 13:09:31.852924
- Title: HCFL: A High Compression Approach for Communication-Efficient Federated
Learning in Very Large Scale IoT Networks
- Title（参考訳）: HCFL: 大規模IoTネットワークにおけるコミュニケーション効率の高いフェデレーション学習のための高圧縮アプローチ
- Authors: Minh-Duong Nguyen, Sang-Min Lee, Quoc-Viet Pham, Dinh Thai Hoang, Diep
N. Nguyen, Won-Joo Hwang
- Abstract要約: フェデレートラーニング(FL)は、IoT(Internet-of-Things)デバイスが、処理のために生データを集中ノードに送信することなく、コラボレーティブモデルを学ぶことを可能にする、新たな人工知能の概念である。
多数のアドバンテージにもかかわらず、IoTデバイスの低コンピューティングリソースとモデルパラメータを交換するための高い通信コストは、巨大なIoTネットワークにおけるFLの応用を極めて限定している。
我々は,大規模IoTネットワークのための高速圧縮フェデレーション学習(HCFL)と呼ばれるFLのための新しい圧縮スキームを開発した。
- 参考スコア（独自算出の注目度）: 27.963991995365532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a new artificial intelligence concept that enables
Internet-of-Things (IoT) devices to learn a collaborative model without sending
the raw data to centralized nodes for processing. Despite numerous advantages,
low computing resources at IoT devices and high communication costs for
exchanging model parameters make applications of FL in massive IoT networks
very limited. In this work, we develop a novel compression scheme for FL,
called high-compression federated learning (HCFL), for very large scale IoT
networks. HCFL can reduce the data load for FL processes without changing their
structure and hyperparameters. In this way, we not only can significantly
reduce communication costs, but also make intensive learning processes more
adaptable on low-computing resource IoT devices. Furthermore, we investigate a
relationship between the number of IoT devices and the convergence level of the
FL model and thereby better assess the quality of the FL process. We
demonstrate our HCFL scheme in both simulations and mathematical analyses. Our
proposed theoretical research can be used as a minimum level of satisfaction,
proving that the FL process can achieve good performance when a determined
configuration is met. Therefore, we show that HCFL is applicable in any
FL-integrated networks with numerous IoT devices.
- Abstract（参考訳）: Federated Learning(FL)は、IoT(Internet-of-Things)デバイスが、処理のために生データを集中ノードに送信することなく、コラボレーティブモデルを学ぶことを可能にする、新たな人工知能の概念である。
多数のアドバンテージにもかかわらず、IoTデバイスの低コンピューティングリソースとモデルパラメータを交換するための高い通信コストは、巨大なIoTネットワークにおけるFLの応用を極めて限定している。
本研究では,大規模IoTネットワークのための高速圧縮フェデレーション学習(HCFL)と呼ばれるFLのための新しい圧縮スキームを開発する。
HCFLは、構造やハイパーパラメータを変更することなく、FLプロセスのデータ負荷を削減することができる。
このように、通信コストを大幅に削減できるだけでなく、低計算リソースのIoTデバイスにも、集中的な学習プロセスをより適応させることができる。
さらに,IoTデバイス数とFLモデルの収束レベルとの関係について検討し,FLプロセスの品質をよく評価する。
我々はシミュレーションと数学的解析の両方においてhcflスキームを実証する。
提案した理論研究は,決定された構成が満たされた場合,FLプロセスが良好な性能を発揮することを示すため,満足度を最小限に抑えることができる。
したがって、HCFLは、多数のIoTデバイスを持つ任意のFL統合ネットワークに適用可能であることを示す。
関連論文リスト
- Device Scheduling and Assignment in Hierarchical Federated Learning for
Internet of Things [20.09415156099031]
本稿では,デバイススケジューリングのための改良K-Centerアルゴリズムを提案し,IoTデバイスをエッジサーバに割り当てるための深層強化学習に基づくアプローチを提案する。
実験によると、IoTデバイスの50%のスケジューリングは一般的に、時間遅延とエネルギー消費を大幅に低減したHFLの収束を達成するのに十分である。
論文 参考訳（メタデータ） (2024-02-04T14:42:13Z) - Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation
and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。
最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。
本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文 参考訳（メタデータ） (2023-03-23T02:42:10Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - Resource Allocation for Compression-aided Federated Learning with High
Distortion Rate [3.7530276852356645]
我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。
参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
論文 参考訳（メタデータ） (2022-06-02T05:00:37Z) - Exploring Deep Reinforcement Learning-Assisted Federated Learning for
Online Resource Allocation in EdgeIoT [53.68792408315411]
フェデレートラーニング(FL)は、モバイルエッジコンピューティングベースのInternet of Thing(EdgeIoT)における盗聴攻撃からデータトレーニングプライバシを保護するために、ますます検討されている。
本研究では,連続領域における最適精度とエネルギー収支を達成するために,FLDLT3フレームワークを提案する。
その結果、FL-DLT3は100回未満の高速収束を実現し、FLの精度-エネルギー消費比は既存の最先端ベンチマークと比較して51.8%向上した。
論文 参考訳（メタデータ） (2022-02-15T13:36:15Z) - Joint Superposition Coding and Training for Federated Learning over
Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。
FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2021-12-05T11:17:17Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - Wireless Communications for Collaborative Federated Learning [160.82696473996566]
IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。
GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。
本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-03T20:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。