論文の概要: FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning
- arxiv url: http://arxiv.org/abs/2410.07678v1
- Date: Thu, 10 Oct 2024 07:39:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 15:36:27.060749
- Title: FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning
- Title（参考訳）: FedEP: 分散化フェデレーション学習のためのエントロピープールによる異種データ分散への注意
- Authors: Chao Feng, Hongjie Guan, Alberto Huertas Celdrán, Jan von der Assen, Gérôme Bovet, Burkhard Stiller,
- Abstract要約: 本稿では,新しいDFL集約アルゴリズムFederated Entropy Pooling (FedEP)を提案する。
FedEPは、実際のデータではなく、局所分布の統計特性を取り入れることで、クライアントのドリフト問題を緩和する。
実験により、FedEPは最先端のアプローチよりも早く収束し、高いテスト性能を示すことが示されている。
- 参考スコア（独自算出の注目度）: 8.576433180938004
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated Learning (FL) performance is highly influenced by data distribution across clients, and non-Independent and Identically Distributed (non-IID) leads to a slower convergence of the global model and a decrease in model effectiveness. The existing algorithms for solving the non-IID problem are focused on the traditional centralized FL (CFL), where a central server is used for model aggregation. However, in decentralized FL (DFL), nodes lack the overall vision of the federation. To address the non-IID problem in DFL, this paper proposes a novel DFL aggregation algorithm, Federated Entropy Pooling (FedEP). FedEP mitigates the client drift problem by incorporating the statistical characteristics of local distributions instead of any actual data. Prior to training, each client conducts a local distribution fitting using a Gaussian Mixture Model (GMM) and shares the resulting statistical characteristics with its neighbors. After receiving the statistical characteristics shared by its neighbors, each node tries to fit the global data distribution. In the aggregation phase, each node calculates the Kullback-Leibler (KL) divergences of the local data distribution over the fitted global data distribution, giving the weights to generate the aggregated model. Extensive experiments have demonstrated that FedEP can achieve faster convergence and show higher test performance than state-of-the-art approaches.
- Abstract（参考訳）: フェデレートラーニング(FL)のパフォーマンスは、クライアント間のデータ分散の影響を強く受けており、非独立性およびIdentically Distributed(非IID)は、グローバルモデルの緩やかな収束とモデルの有効性の低下につながる。
非IID問題を解決するための既存のアルゴリズムは、モデル集約に中央サーバを使用する従来の集中型FL(CFL)に焦点を当てている。
しかし、分散FL(DFL)では、ノードは連合の全体像を欠いている。
DFLにおける非IID問題に対処するために、新しいDFL集約アルゴリズムであるフェデレートエントロピープール(FedEP)を提案する。
FedEPは、実際のデータではなく、局所分布の統計特性を取り入れることで、クライアントのドリフト問題を緩和する。
訓練前,各クライアントはガウス混合モデル(GMM)を用いて局所分布フィッティングを行い,その統計特性を近隣のクライアントと共有する。
近隣住民が共有する統計特性を受信した後、各ノードはグローバルなデータ分布に適合させようとする。
集約フェーズでは、各ノードは、適合したグローバルデータ分布上のローカルデータ分布のKL(Kullback-Leibler)分散を計算し、集約されたモデルを生成する重みを与える。
大規模な実験により、FedEPはより高速な収束を実現し、最先端のアプローチよりも高いテスト性能を示すことが示されている。
関連論文リスト
- Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。
フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。
本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-10T04:03:09Z) - Rethinking Clustered Federated Learning in NOMA Enhanced Wireless
Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。
データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。
非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文 参考訳（メタデータ） (2024-03-05T17:49:09Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Clustered Data Sharing for Non-IID Federated Learning over Wireless
Networks [39.80420645943706]
Federated Learning (FL)は、IoT(Internet of Things)のデータを活用する分散型機械学習アプローチである。
現在のFLアルゴリズムは、非独立で同一の分散データ(非IID)の課題に直面しており、通信コストが高く、モデルの精度が低下する。
本稿では,デバイス間通信(D2D)を通じて,クラスタヘッドから信頼性の高いアソシエイトへの部分的データ通信を行うクラスタデータ共有フレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-17T07:11:02Z) - Semi-Synchronous Personalized Federated Learning over Mobile Edge
Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。
我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。
PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文 参考訳（メタデータ） (2022-09-27T02:12:43Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳（メタデータ） (2022-01-31T03:15:28Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Node Selection Toward Faster Convergence for Federated Learning on
Non-IID Data [6.040848035935873]
Federated Learning(FL)は、大量のリソース制限されたノードがデータ共有なしで協調的にモデルをトレーニングできる分散学習パラダイムである。
そこで本研究では,グローバルラウンド毎に各ノードの局所更新の最適部分集合を求めるため,最適アグリゲーションアルゴリズムを提案する。
また,各ノードが選択する確率を動的に変更するための確率的ノード選択フレームワーク (FedPNS) も提案した。
論文 参考訳（メタデータ） (2021-05-14T20:56:09Z) - Fast-Convergent Federated Learning with Adaptive Weighting [6.040848035935873]
フェデレートラーニング(FL)は、リソース制約のあるエッジノードが、中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。
非IIDデータセットを持つノードの存在下でモデル収束を加速することを目的としたFederated Adaptive Weighting (FedAdp)アルゴリズムを提案する。
我々は、FedAdpを用いたFLトレーニングにより、MNISTデータセットで54.1%、FashionMNISTデータセットで45.4%の通信ラウンドを削減できることを示す。
論文 参考訳（メタデータ） (2020-12-01T17:35:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。