論文の概要: Adaptive Federated Learning via New Entropy Approach

• arxiv url: http://arxiv.org/abs/2303.14966v2
• Date: Sat, 1 Apr 2023 11:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 20:24:10.320934
• Title: Adaptive Federated Learning via New Entropy Approach
• Title（参考訳）: 新しいエントロピーアプローチによる適応的フェデレーション学習
• Authors: Shensheng Zheng, Xuehe Wang, Lingjie Duan
• Abstract要約: フェデレートラーニング(FL)は、リソース制約のあるクライアントが中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。 異種クライアントの機器とデータのばらつきの違いにより、局所モデル間のパラメータ偏差が生じる。 本稿では,エントロピー理論に基づく適応学習率スキームを提案する。
• 参考スコア（独自算出の注目度）: 21.835561630042314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) has recently emerged as a popular framework, which allows resource-constrained discrete clients to cooperatively learn the global model under the orchestration of a central server while storing privacy-sensitive data locally. However, due to the difference in equipment and data divergence of heterogeneous clients, there will be parameter deviation between local models, resulting in a slow convergence rate and a reduction of the accuracy of the global model. The current FL algorithms use the static client learning strategy pervasively and can not adapt to the dynamic training parameters of different clients. In this paper, by considering the deviation between different local model parameters, we propose an adaptive learning rate scheme for each client based on entropy theory to alleviate the deviation between heterogeneous clients and achieve fast convergence of the global model. It's difficult to design the optimal dynamic learning rate for each client as the local information of other clients is unknown, especially during the local training epochs without communications between local clients and the central server. To enable a decentralized learning rate design for each client, we first introduce mean-field schemes to estimate the terms related to other clients' local model parameters. Then the decentralized adaptive learning rate for each client is obtained in closed form by constructing the Hamilton equation. Moreover, we prove that there exist fixed point solutions for the mean-field estimators, and an algorithm is proposed to obtain them. Finally, extensive experimental results on real datasets show that our algorithm can effectively eliminate the deviation between local model parameters compared to other recent FL algorithms.
• Abstract（参考訳）: リソース制約のある独立したクライアントは、ローカルにプライバシに敏感なデータを保存しながら、中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することができる。 しかし,ヘテロジニアスクライアントの機器の相違やデータのばらつきにより,局所モデル間のパラメータ偏差が生じ,収束速度が遅く,グローバルモデルの精度が低下する。 現在のFLアルゴリズムは静的クライアント学習戦略を広く利用しており、異なるクライアントの動的トレーニングパラメータに適応できない。 本稿では,異なる局所モデルパラメータ間の偏差を考慮し,不均一なクライアント間の偏差を緩和し,グローバルモデルの高速収束を実現するために,エントロピー理論に基づく各クライアントに対する適応学習率スキームを提案する。 他のクライアントのローカル情報がないため、特にローカルクライアントと中央サーバ間の通信のないローカルトレーニングの時期において、各クライアントの最適な動的学習率を設計することは困難である。 各クライアントの分散学習率設計を実現するために,まず,他のクライアントの局所モデルパラメータに関連する条件を推定する平均場スキームを導入する。 そして、ハミルトン方程式を構成することにより、クライアント毎の分散適応学習率を閉形式に求める。 さらに,平均場推定器に対する不動点解が存在することを証明し,それを得るためのアルゴリズムを提案する。 最後に, 実データを用いた実験結果から, 局所モデルパラメータ間の偏差を他のFLアルゴリズムと比較して効果的に除去できることが示唆された。

関連論文リスト

• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning [1.802525429431034]
  我々はFedADMM-InSaと呼ばれる不正確な自己適応型FedADMMアルゴリズムを提案する。 結果の不正確なADMMの収束は、強い凸損失関数の仮定の下で証明される。 提案アルゴリズムは,クライアントの局所的な計算負荷を大幅に低減し,バニラFedADMMと比較して学習プロセスを高速化する。
  論文  参考訳（メタデータ） (2024-02-21T18:19:20Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。