論文の概要: FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning
- arxiv url: http://arxiv.org/abs/2208.02442v1
- Date: Thu, 4 Aug 2022 04:24:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-05 12:15:18.910457
- Title: FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning
- Title(参考訳): feddrl:federated learningにおける非iidデータに対する深層強化学習に基づく適応アグリゲーション
- Authors: Nang Hung Nguyen, Phi Le Nguyen, Duc Long Nguyen, Trung Thanh Nguyen,
Thuy Dung Nguyen, Huy Hieu Pham, Truong Thao Nguyen
- Abstract要約: 異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
- 参考スコア(独自算出の注目度): 4.02923738318937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The uneven distribution of local data across different edge devices (clients)
results in slow model training and accuracy reduction in federated learning.
Naive federated learning (FL) strategy and most alternative solutions attempted
to achieve more fairness by weighted aggregating deep learning models across
clients. This work introduces a novel non-IID type encountered in real-world
datasets, namely cluster-skew, in which groups of clients have local data with
similar distributions, causing the global model to converge to an over-fitted
solution. To deal with non-IID data, particularly the cluster-skewed data, we
propose FedDRL, a novel FL model that employs deep reinforcement learning to
adaptively determine each client's impact factor (which will be used as the
weights in the aggregation process). Extensive experiments on a suite of
federated datasets confirm that the proposed FedDRL improves favorably against
FedAvg and FedProx methods, e.g., up to 4.05% and 2.17% on average for the
CIFAR-100 dataset, respectively.
- Abstract(参考訳): 異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
Naive Federated Learning(FL)戦略と、ほとんどの代替ソリューションは、クライアントをまたいだディープラーニングモデルの重み付けによって、より公平性を達成しようとした。
この研究は、実世界のデータセットで遭遇する新しい非IID型、すなわちクラスタスキューを導入し、クライアントのグループは同様の分布を持つローカルデータを持ち、グローバルモデルが過度に適合したソリューションに収束する。
非IIDデータ、特にクラスタスキューデータを扱うために、我々は、各クライアントの衝撃要因(集約プロセスの重みとして使用される)を適応的に決定するために、深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
フェデレーションデータセットの集合に関する大規模な実験により、提案されたFedDRLは、それぞれCIFAR-100データセットの平均で4.05%と2.17%まで、FedAvgとFedProxの手法に対して好適に改善されていることが確認された。
関連論文リスト
- FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。
FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。
我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文 参考訳(メタデータ) (2024-07-09T02:47:16Z) - FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging [12.307490659840845]
我々は,データの不均一性に対処する新しいマルチエージェント深層強化学習フレームワークであるFedMRLを紹介する。
FedMRLは、クライアント間の公平性を促進するために、新たな損失関数を導入し、最終グローバルモデルのバイアスを防ぐ。
その結果,FedMRLが最先端技術よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-07-08T10:10:07Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Stochastic Clustered Federated Learning [21.811496586350653]
本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。
詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。
その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-03-02T01:39:16Z) - The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文 参考訳(メタデータ) (2023-01-21T16:20:57Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - FLIS: Clustered Federated Learning via Inference Similarity for Non-IID
Data Distribution [7.924081556869144]
本稿では,クライアント集団をクラスタにグループ化し,共同でトレーニング可能なデータ配信を行う新しいアルゴリズムFLISを提案する。
CIFAR-100/10, SVHN, FMNISTデータセット上の最先端ベンチマークに対するFLISの利点を示す実験結果を示す。
論文 参考訳(メタデータ) (2022-08-20T22:10:48Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳(メタデータ) (2022-03-22T14:06:26Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。