論文の概要: FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation

• arxiv url: http://arxiv.org/abs/2212.07224v1
• Date: Wed, 14 Dec 2022 13:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 17:54:40.111004
• Title: FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation
• Title（参考訳）: FedSkip:フェデレーション・スキップ・アグリゲーションによる統計的不均一性を議論
• Authors: Ziqing Fan, Yanfeng Wang, Jiangchao Yao, Lingjuan Lyu, Ya Zhang and Qi Tian
• Abstract要約: 我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
• 参考スコア（独自算出の注目度）: 95.85026305874824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The statistical heterogeneity of the non-independent and identically distributed (non-IID) data in local clients significantly limits the performance of federated learning. Previous attempts like FedProx, SCAFFOLD, MOON, FedNova and FedDyn resort to an optimization perspective, which requires an auxiliary term or re-weights local updates to calibrate the learning bias or the objective inconsistency. However, in addition to previous explorations for improvement in federated averaging, our analysis shows that another critical bottleneck is the poorer optima of client models in more heterogeneous conditions. We thus introduce a data-driven approach called FedSkip to improve the client optima by periodically skipping federated averaging and scattering local models to the cross devices. We provide theoretical analysis of the possible benefit from FedSkip and conduct extensive experiments on a range of datasets to demonstrate that FedSkip achieves much higher accuracy, better aggregation efficiency and competing communication efficiency. Source code is available at: https://github.com/MediaBrain-SJTU/FedSkip.
• Abstract（参考訳）: ローカルクライアントにおける非独立および同一分布(非IID)データの統計的不均一性は、フェデレート学習の性能を著しく制限する。 FedProx、SCAFFOLD、MOON、FedNova、FedDynといった以前の試みでは、学習バイアスや目的の不整合を校正するために、補助的な用語や更新を再重み付けする必要があった。 しかし,フェデレーション平均化の改善に向けたこれまでの調査に加えて,より異質な条件下でのクライアントモデルの視認性が低下していることも分析から明らかである。 そこで我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することでクライアントの最適化を改善する。 我々は、FedSkipの利点を理論的に分析し、FedSkipがはるかに精度が高く、アグリゲーション効率が良く、通信効率が競合することを示した。 ソースコードはhttps://github.com/mediabrain-sjtu/fedskip。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Leveraging Function Space Aggregation for Federated Learning at Scale [20.866482460590973]
  クライアントが学習した関数に対する局所近似を集約するアルゴリズムであるFedFishを提案する。 我々はFedFishを、現実的で大規模なクロスデバイスベンチマークで評価する。
  論文  参考訳（メタデータ） (2023-11-17T02:37:10Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• FedPDC:Federated Learning for Public Dataset Correction [1.5533842336139065]
  フェデレート学習は、非IIDシナリオにおける従来の機械学習よりも分類精度が低い。 局所モデルのアグリゲーションモードと局所学習の損失関数を最適化するために,新しいアルゴリズムであるFedPDCを提案する。 多くのベンチマーク実験において、FedPDCは極めて不均衡なデータ分布の場合、グローバルモデルの精度を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-02-24T08:09:23Z)
• FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning [4.02923738318937]
  異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。 この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。 我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T04:24:16Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• FedGroup: Efficient Clustered Federated Learning via Decomposed Data-Driven Measure [18.083188787905083]
  本稿では,新しいクラスタ型フェデレーション学習(CFL)フレームワークであるFedGroupを提案する。 FEMNISTではFedAvgに比べて絶対テスト精度が+14.1%向上することが示された。 また、いくつかのオープンデータセット上でFedGroupとFedGrouProx(FedProxと組み合わせた)を評価します。
  論文  参考訳（メタデータ） (2020-10-14T08:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。