論文の概要: FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2410.07678v2
• Date: Mon, 06 Jan 2025 16:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:02:39.776739
• Title: FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning
• Title（参考訳）: FedEP: 分散化フェデレーション学習のためのエントロピープールによる異種データ分散への注意
• Authors: Chao Feng, Hongjie Guan, Alberto Huertas Celdrán, Jan von der Assen, Gérôme Bovet, Burkhard Stiller,
• Abstract要約: フェデレートラーニング(FL)における非独立分散(非IID)データは、クライアントの問題を引き起こす。 既存のアプローチでは、この問題を中央サーバを使ってFLで緩和するが、Decentralized FL (DFL) は未調査のままである。 本研究は,DFLにおける非IID課題を軽減するためのフェデレートエントロピープーリング(FedEP)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 8.576433180938004
• License:
• Abstract: Non-Independent and Identically Distributed (non-IID) data in Federated Learning (FL) causes client drift issues, leading to slower convergence and reduced model performance. While existing approaches mitigate this issue in Centralized FL (CFL) using a central server, Decentralized FL (DFL) remains underexplored. In DFL, the absence of a central entity results in nodes accessing a global view of the federation, further intensifying the challenges of non-IID data. Drawing on the entropy pooling algorithm employed in financial contexts to synthesize diverse investment opinions, this work proposes the Federated Entropy Pooling (FedEP) algorithm to mitigate the non-IID challenge in DFL. FedEP leverages Gaussian Mixture Models (GMM) to fit local data distributions, sharing statistical parameters among neighboring nodes to estimate the global distribution. Aggregation weights are determined using the entropy pooling approach between local and global distributions. By sharing only synthetic distribution information, FedEP preserves data privacy while minimizing communication overhead. Experimental results demonstrate that FedEP achieves faster convergence and outperforms state-of-the-art methods in various non-IID settings.
• Abstract（参考訳）: フェデレートラーニング(FL)における非独立分散(非IID)データは、クライアントのドリフト問題を引き起こし、収束が遅く、モデルの性能が低下する。 既存のアプローチでは、中央サーバを使用したCFL(Centralized FL)ではこの問題が緩和されているが、Decentralized FL(DFL)はいまだに未調査である。 DFLでは、中心となるエンティティが存在しないため、ノードがフェデレーションのグローバルビューにアクセスでき、非IIDデータの課題がさらに強化される。 本研究は,金融状況下でのエントロピープール法を用いて多様な投資意見を合成し,DFLにおける非IID課題を緩和するフェデレーションエントロピープール法(FedEP)を提案する。 FedEPはGaussian Mixture Models(GMM)を利用して局所的なデータ分布に適合し、近隣ノード間で統計パラメータを共有し、グローバルな分布を推定する。 局所分布と大域分布の間のエントロピープール法を用いて凝集重量を決定する。 合成配信情報のみを共有することで、FedEPは通信オーバーヘッドを最小限にしつつ、データのプライバシを保存する。 実験結果から,FedEPはより高速な収束を実現し,非IID環境下での最先端手法よりも優れることが示された。

関連論文リスト

• Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
  スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。 フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。 本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-10T04:03:09Z)
• Enhancing Federated Learning Convergence with Dynamic Data Queue and Data Entropy-driven Participant Selection [13.825031686864559]
  Federated Learning(FL)は、エッジデバイス上でのコラボレーティブモデルトレーニングのための分散アプローチである。 本稿では,サーバ上のデータのグローバルサブセットを作成し,デバイス間で動的に分散することにより,FLの収束を改善する手法を提案する。 提案手法により,MNISTデータセットでは約5%,CIFAR-10では約18%,CIFAR-100では約20%の精度向上を実現した。
  論文  参考訳（メタデータ） (2024-10-23T11:47:04Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Joint Local Relational Augmentation and Global Nash Equilibrium for Federated Learning with Non-IID Data [36.426794300280854]
  フェデレーテッド・ラーニング(FL)は分散機械学習のパラダイムであり、サーバーと一連のクライアントの協力を必要とする。 本稿では,局所的リレーショナル拡張(LRA)と大域的ナッシュ均衡(GNE)の2つの主要モジュールからなるFedRANEを提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:17:51Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Semi-Supervised Federated Learning with non-IID Data: Algorithm and System Design [42.63120623012093]
  フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に共有グローバルモデルをトレーニングすることを可能にする。 クライアントのローカルトレーニングデータの分布は、非独立に均等に分散されている(非IID) 本稿では、FLにおけるデータ可用性と非IIDの問題を解決することを目的とした、堅牢な半教師付きFLシステム設計を提案する。
  論文  参考訳（メタデータ） (2021-10-26T03:41:48Z)
• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)
• Fast-Convergent Federated Learning with Adaptive Weighting [6.040848035935873]
  フェデレートラーニング(FL)は、リソース制約のあるエッジノードが、中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。 非IIDデータセットを持つノードの存在下でモデル収束を加速することを目的としたFederated Adaptive Weighting (FedAdp)アルゴリズムを提案する。 我々は、FedAdpを用いたFLトレーニングにより、MNISTデータセットで54.1%、FashionMNISTデータセットで45.4%の通信ラウンドを削減できることを示す。
  論文  参考訳（メタデータ） (2020-12-01T17:35:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。