論文の概要: Communication-Efficient Federated Learning With Data and Client Heterogeneity

• arxiv url: http://arxiv.org/abs/2206.10032v3
• Date: Sat, 3 Jun 2023 15:22:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 05:01:30.244363
• Title: Communication-Efficient Federated Learning With Data and Client Heterogeneity
• Title（参考訳）: データとクライアントの不均一性によるコミュニケーション効率のよいフェデレーション学習
• Authors: Hossein Zakerinia, Shayan Talaei, Giorgi Nadiradze, Dan Alistarh
• Abstract要約: Federated Learning (FL)は、機械学習モデルの大規模分散トレーニングを可能にする。 FLを大規模に実行するには、本質的に実践的な課題が伴う。 従来のフェデレーション平均化(FedAvg)アルゴリズムの最初の変種を示す。
• 参考スコア（独自算出の注目度）: 22.432529149142976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) enables large-scale distributed training of machine learning models, while still allowing individual nodes to maintain data locally. However, executing FL at scale comes with inherent practical challenges: 1) heterogeneity of the local node data distributions, 2) heterogeneity of node computational speeds (asynchrony), but also 3) constraints in the amount of communication between the clients and the server. In this work, we present the first variant of the classic federated averaging (FedAvg) algorithm which, at the same time, supports data heterogeneity, partial client asynchrony, and communication compression. Our algorithm comes with a rigorous analysis showing that, in spite of these system relaxations, it can provide similar convergence to FedAvg in interesting parameter regimes. Experimental results in the rigorous LEAF benchmark on setups of up to $300$ nodes show that our algorithm ensures fast convergence for standard federated tasks, improving upon prior quantized and asynchronous approaches.
• Abstract（参考訳）: フェデレーション学習(fl)は、個々のノードがデータをローカルに保持しながら、機械学習モデルの大規模分散トレーニングを可能にする。 しかし、スケールでのflの実行には、1)ローカルノードデータ分布の不均質性、2)ノード計算速度の不均質性(同期性)、という、本質的に実践的な課題が伴う。 3) クライアントとサーバ間の通信量の制約。 本研究では,従来のfederated averaging(federated averaging, fedavg)アルゴリズムの最初の変種を提案する。 我々のアルゴリズムは、システムの緩和にもかかわらず、興味深いパラメータレジームにおいてfedavgに類似した収束を提供できることを示す厳密な分析を伴っている。 厳密なリーフベンチマークによる300ドルまでのノードのセットアップ実験の結果,本アルゴリズムは,事前量子化および非同期アプローチにより,標準フェデレーションタスクの高速収束を保証していることがわかった。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler [5.550660753625296]
  クロスサイロフェデレーション学習は、ローカルデータセットのプライバシを損なうことなく、AIモデルを協調的にトレーニングする、有望なソリューションを提供する。 本稿では,サーバ側で計算パワースケジューラを組み込んだ,半同期型フェデレーション学習アルゴリズムを提案する。 上位クライアントでフェデレート学習を行う場合,Fedは他のアルゴリズムよりも高速な収束と精度を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-26T05:03:13Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Speeding up Heterogeneous Federated Learning with Sequentially Trained Superclients [19.496278017418113]
  フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。 このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。 我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
  論文  参考訳（メタデータ） (2022-01-26T12:33:23Z)
• Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning [79.66767935077925]
  フェデレートラーニング(FL)では、機械学習モデルは、データをローカルに保ち、他のノードと共有しない状態で、複数のノードで分散的にトレーニングされる。 ノードからサーバに送信された情報は、各ノードのローカルデータの詳細を明らかにする可能性があるため、プライバシー上の懸念が生じる。 差分プライバシーを保証し、アップリンク通信オーバーヘッドを低減した2ビットアグリゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-06T19:03:58Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。