論文の概要: FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2410.07678v2
• Date: Mon, 06 Jan 2025 16:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:02:39.776739
• Title: FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning
• Title（参考訳）: FedEP: 分散化フェデレーション学習のためのエントロピープールによる異種データ分散への注意
• Authors: Chao Feng, Hongjie Guan, Alberto Huertas Celdrán, Jan von der Assen, Gérôme Bovet, Burkhard Stiller,
• Abstract要約: フェデレートラーニング(FL)における非独立分散(非IID)データは、クライアントの問題を引き起こす。 既存のアプローチでは、この問題を中央サーバを使ってFLで緩和するが、Decentralized FL (DFL) は未調査のままである。 本研究は,DFLにおける非IID課題を軽減するためのフェデレートエントロピープーリング(FedEP)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 8.576433180938004
• License:
• Abstract: Non-Independent and Identically Distributed (non-IID) data in Federated Learning (FL) causes client drift issues, leading to slower convergence and reduced model performance. While existing approaches mitigate this issue in Centralized FL (CFL) using a central server, Decentralized FL (DFL) remains underexplored. In DFL, the absence of a central entity results in nodes accessing a global view of the federation, further intensifying the challenges of non-IID data. Drawing on the entropy pooling algorithm employed in financial contexts to synthesize diverse investment opinions, this work proposes the Federated Entropy Pooling (FedEP) algorithm to mitigate the non-IID challenge in DFL. FedEP leverages Gaussian Mixture Models (GMM) to fit local data distributions, sharing statistical parameters among neighboring nodes to estimate the global distribution. Aggregation weights are determined using the entropy pooling approach between local and global distributions. By sharing only synthetic distribution information, FedEP preserves data privacy while minimizing communication overhead. Experimental results demonstrate that FedEP achieves faster convergence and outperforms state-of-the-art methods in various non-IID settings.
• Abstract（参考訳）: フェデレートラーニング(FL)における非独立分散(非IID)データは、クライアントのドリフト問題を引き起こし、収束が遅く、モデルの性能が低下する。 既存のアプローチでは、中央サーバを使用したCFL(Centralized FL)ではこの問題が緩和されているが、Decentralized FL(DFL)はいまだに未調査である。 DFLでは、中心となるエンティティが存在しないため、ノードがフェデレーションのグローバルビューにアクセスでき、非IIDデータの課題がさらに強化される。 本研究は,金融状況下でのエントロピープール法を用いて多様な投資意見を合成し,DFLにおける非IID課題を緩和するフェデレーションエントロピープール法(FedEP)を提案する。 FedEPはGaussian Mixture Models(GMM)を利用して局所的なデータ分布に適合し、近隣ノード間で統計パラメータを共有し、グローバルな分布を推定する。 局所分布と大域分布の間のエントロピープール法を用いて凝集重量を決定する。 合成配信情報のみを共有することで、FedEPは通信オーバーヘッドを最小限にしつつ、データのプライバシを保存する。 実験結果から,FedEPはより高速な収束を実現し,非IID環境下での最先端手法よりも優れることが示された。

関連論文リスト

• Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
  スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。 フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。 本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-10T04:03:09Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Clustered Data Sharing for Non-IID Federated Learning over Wireless Networks [39.80420645943706]
  Federated Learning (FL)は、IoT(Internet of Things)のデータを活用する分散型機械学習アプローチである。 現在のFLアルゴリズムは、非独立で同一の分散データ(非IID)の課題に直面しており、通信コストが高く、モデルの精度が低下する。 本稿では,デバイス間通信(D2D)を通じて,クラスタヘッドから信頼性の高いアソシエイトへの部分的データ通信を行うクラスタデータ共有フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-17T07:11:02Z)
• Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
  我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。 我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
  論文  参考訳（メタデータ） (2022-09-27T02:12:43Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data [6.040848035935873]
  Federated Learning(FL)は、大量のリソース制限されたノードがデータ共有なしで協調的にモデルをトレーニングできる分散学習パラダイムである。 そこで本研究では,グローバルラウンド毎に各ノードの局所更新の最適部分集合を求めるため,最適アグリゲーションアルゴリズムを提案する。 また,各ノードが選択する確率を動的に変更するための確率的ノード選択フレームワーク (FedPNS) も提案した。
  論文  参考訳（メタデータ） (2021-05-14T20:56:09Z)
• Fast-Convergent Federated Learning with Adaptive Weighting [6.040848035935873]
  フェデレートラーニング(FL)は、リソース制約のあるエッジノードが、中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。 非IIDデータセットを持つノードの存在下でモデル収束を加速することを目的としたFederated Adaptive Weighting (FedAdp)アルゴリズムを提案する。 我々は、FedAdpを用いたFLトレーニングにより、MNISTデータセットで54.1%、FashionMNISTデータセットで45.4%の通信ラウンドを削減できることを示す。
  論文  参考訳（メタデータ） (2020-12-01T17:35:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。