論文の概要: Joint Local Relational Augmentation and Global Nash Equilibrium for Federated Learning with Non-IID Data

• arxiv url: http://arxiv.org/abs/2308.11646v1
• Date: Thu, 17 Aug 2023 06:17:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-27 04:49:07.326357
• Title: Joint Local Relational Augmentation and Global Nash Equilibrium for Federated Learning with Non-IID Data
• Title（参考訳）: 非IIDデータを用いたフェデレーション学習のための局所関係強化とグローバルナッシュ平衡
• Authors: Xinting Liao, Chaochao Chen, Weiming Liu, Pengyang Zhou, Huabin Zhu, Shuheng Shen, Weiqiang Wang, Mengling Hu, Yanchao Tan, and Xiaolin Zheng
• Abstract要約: フェデレーテッド・ラーニング(FL)は分散機械学習のパラダイムであり、サーバーと一連のクライアントの協力を必要とする。 本稿では,局所的リレーショナル拡張(LRA)と大域的ナッシュ均衡(GNE)の2つの主要モジュールからなるFedRANEを提案する。
• 参考スコア（独自算出の注目度）: 36.426794300280854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a distributed machine learning paradigm that needs collaboration between a server and a series of clients with decentralized data. To make FL effective in real-world applications, existing work devotes to improving the modeling of decentralized data with non-independent and identical distributions (non-IID). In non-IID settings, there are intra-client inconsistency that comes from the imbalanced data modeling, and inter-client inconsistency among heterogeneous client distributions, which not only hinders sufficient representation of the minority data, but also brings discrepant model deviations. However, previous work overlooks to tackle the above two coupling inconsistencies together. In this work, we propose FedRANE, which consists of two main modules, i.e., local relational augmentation (LRA) and global Nash equilibrium (GNE), to resolve intra- and inter-client inconsistency simultaneously. Specifically, in each client, LRA mines the similarity relations among different data samples and enhances the minority sample representations with their neighbors using attentive message passing. In server, GNE reaches an agreement among inconsistent and discrepant model deviations from clients to server, which encourages the global model to update in the direction of global optimum without breaking down the clients optimization toward their local optimums. We conduct extensive experiments on four benchmark datasets to show the superiority of FedRANE in enhancing the performance of FL with non-IID data.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、分散機械学習のパラダイムであり、サーバと分散データを持つ一連のクライアントとのコラボレーションを必要とする。 FLを現実世界のアプリケーションで効果的にするために、既存の研究は非独立で同一の分布(非IID)を持つ分散データのモデリングの改善に力を入れている。 非iid設定では、不均衡なデータモデリングから生じるクライアント内不整合と、不均質なクライアントディストリビューション間のクライアント間不一貫性があり、マイノリティデータの十分な表現を妨げるだけでなく、不一致モデルの偏差をもたらす。 しかし、以前の作業は上記の2つの結合不整合に一緒に取り組むことを見落としている。 本研究では,2つの主モジュール,すなわち局所関係拡張 (lra) とグローバルナッシュ均衡 (gne) からなるfedraneを提案し,クライアント間およびクライアント間不整合を同時に解決する。 具体的には、各クライアントにおいて、LRAは異なるデータサンプル間の類似性関係をマイニングし、注意的メッセージパッシングを使用して隣人との少数サンプル表現を強化する。 サーバでは、GNEはクライアントからサーバへの不整合および不整合モデル偏差の合意に達し、グローバルモデルがクライアントの最適化をローカルな最適化に分解することなく、グローバルな最適化方向に更新することを奨励する。 非IIDデータを用いたFLの性能向上におけるFedRANEの優位性を示すために,4つのベンチマークデータセットについて広範な実験を行った。

関連論文リスト

• Modality Alignment Meets Federated Broadcasting [9.752555511824593]
  フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。 本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:30:03Z)
• FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning [8.576433180938004]
  本稿では,新しいDFL集約アルゴリズムFederated Entropy Pooling (FedEP)を提案する。 FedEPは、実際のデータではなく、局所分布の統計特性を取り入れることで、クライアントのドリフト問題を緩和する。 実験により、FedEPは最先端のアプローチよりも早く収束し、高いテスト性能を示すことが示されている。
  論文  参考訳（メタデータ） (2024-10-10T07:39:15Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。