論文の概要: FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System
- arxiv url: http://arxiv.org/abs/2403.14718v1
- Date: Tue, 19 Mar 2024 09:34:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 21:41:26.739218
- Title: FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System
- Title（参考訳）: FedSR: IoTシステムにおける非IID性のための半分散フェデレーション学習アルゴリズム
- Authors: Jianjun Huang, Lixin Ye, Li Kang,
- Abstract要約: IoT(Industrial Internet of Things)では、大量のデータが毎日生成される。
プライバシーとセキュリティの問題により、これらのデータをまとめてディープラーニングモデルをトレーニングすることは困難である。
本稿では,集中型フェデレーション学習と分散型フェデレーション学習を組み合わせて,半分散型クラウドエッジデバイス階層型フェデレーション学習フレームワークを設計する。
- 参考スコア（独自算出の注目度）: 2.040586739710704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the Industrial Internet of Things (IoT), a large amount of data will be generated every day. Due to privacy and security issues, it is difficult to collect all these data together to train deep learning models, thus the federated learning, a distributed machine learning paradigm that protects data privacy, has been widely used in IoT. However, in practical federated learning, the data distributions usually have large differences across devices, and the heterogeneity of data will deteriorate the performance of the model. Moreover, federated learning in IoT usually has a large number of devices involved in training, and the limited communication resource of cloud servers become a bottleneck for training. To address the above issues, in this paper, we combine centralized federated learning with decentralized federated learning to design a semi-decentralized cloud-edge-device hierarchical federated learning framework, which can mitigate the impact of data heterogeneity, and can be deployed at lage scale in IoT. To address the effect of data heterogeneity, we use an incremental subgradient optimization algorithm in each ring cluster to improve the generalization ability of the ring cluster models. Our extensive experiments show that our approach can effectively mitigate the impact of data heterogeneity and alleviate the communication bottleneck in cloud servers.
- Abstract（参考訳）: IoT(Industrial Internet of Things)では、大量のデータが毎日生成される。
プライバシとセキュリティの問題から、これらすべてのデータをまとめてディープラーニングモデルをトレーニングすることは難しいため、データプライバシを保護する分散型機械学習パラダイムであるフェデレーション学習がIoTで広く使用されている。
しかし、実践的なフェデレート学習では、データ分布は通常デバイス間で大きな差異があり、データの均一性はモデルの性能を低下させる。
さらに、IoTのフェデレーション学習は通常、トレーニングに関わる多数のデバイスを持ち、クラウドサーバの限られた通信リソースは、トレーニングのボトルネックになる。
上記の課題に対処するため,本論文では,集中型フェデレーション学習と分散型フェデレーション学習を組み合わせて,半分散型クラウドエッジデバイス階層型フェデレーション学習フレームワークを設計する。
データの不均一性の影響に対処するために、各リングクラスタにおける漸進的な段階的最適化アルゴリズムを用いて、リングクラスタモデルの一般化能力を向上する。
我々の大規模な実験は、当社のアプローチがデータ不均一性の影響を効果的に軽減し、クラウドサーバにおける通信ボトルネックを軽減することができることを示している。
関連論文リスト
- Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。
FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。
実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
論文 参考訳（メタデータ） (2024-01-22T14:16:37Z) - Edge-assisted U-Shaped Split Federated Learning with Privacy-preserving
for Internet of Things [4.68267059122563]
本稿では,エッジサーバの高性能機能を活用した,エッジ支援型U-Shaped Split Federated Learning (EUSFL) フレームワークを提案する。
このフレームワークでは、フェデレートラーニング(FL)を活用し、データ保持者がデータを共有せずに協調的にモデルをトレーニングできるようにします。
また,データの特徴やラベルが復元攻撃に対して確実に耐えられるように,ラベルDPと呼ばれる新しいノイズ機構を提案する。
論文 参考訳（メタデータ） (2023-11-08T05:14:41Z) - FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文 参考訳（メタデータ） (2022-06-21T17:23:06Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳（メタデータ） (2022-05-19T03:32:03Z) - DQRE-SCnet: A novel hybrid approach for selecting users in Federated
Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering [1.174402845822043]
実世界の機密データに基づく機械学習モデルは、医療スクリーニングから病気の発生、農業、産業、防衛科学など幅広い分野で進歩している。
多くのアプリケーションにおいて、学習参加者のコミュニケーションラウンドは、独自のプライベートデータセットを収集し、実際のデータに対して詳細な機械学習モデルを教え、これらのモデルを使用することの利点を共有することの恩恵を受ける。
既存のプライバシとセキュリティ上の懸念から、ほとんどの人はトレーニング用の機密データ共有を回避している。各ユーザがローカルデータを中央サーバにデモしない限り、フェデレートラーニングは、さまざまなパーティが共用データ上で機械学習アルゴリズムをトレーニングすることを可能にする。
論文 参考訳（メタデータ） (2021-11-07T15:14:29Z) - Rethinking Architecture Design for Tackling Data Heterogeneity in
Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。
我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文 参考訳（メタデータ） (2021-06-10T21:04:18Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z) - Federated Learning with Cooperating Devices: A Consensus Approach for
Massive IoT Networks [8.456633924613456]
分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。
提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。
このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
論文 参考訳（メタデータ） (2019-12-27T15:16:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。