論文の概要: Scaff-PD: Communication Efficient Fair and Robust Federated Learning

• arxiv url: http://arxiv.org/abs/2307.13381v1
• Date: Tue, 25 Jul 2023 10:04:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 17:36:28.607741
• Title: Scaff-PD: Communication Efficient Fair and Robust Federated Learning
• Title（参考訳）: Scaff-PD:コミュニケーション効率の良いフェアとロバストなフェデレーションラーニング
• Authors: Yaodong Yu and Sai Praneeth Karimireddy and Yi Ma and Michael I. Jordan
• Abstract要約: Scaff-PDは、分散的堅牢なフェデレーション学習のための高速で通信効率のよいアルゴリズムである。 この結果から,Scaff-PDは資源制約や不均一な環境下でのフェデレーション学習において有望なアプローチであることが示唆された。
• 参考スコア（独自算出の注目度）: 92.61502701658732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Scaff-PD, a fast and communication-efficient algorithm for distributionally robust federated learning. Our approach improves fairness by optimizing a family of distributionally robust objectives tailored to heterogeneous clients. We leverage the special structure of these objectives, and design an accelerated primal dual (APD) algorithm which uses bias corrected local steps (as in Scaffold) to achieve significant gains in communication efficiency and convergence speed. We evaluate Scaff-PD on several benchmark datasets and demonstrate its effectiveness in improving fairness and robustness while maintaining competitive accuracy. Our results suggest that Scaff-PD is a promising approach for federated learning in resource-constrained and heterogeneous settings.
• Abstract（参考訳）: 分散的堅牢なフェデレーション学習のための高速かつ通信効率の高いアルゴリズムであるScaff-PDを提案する。 本手法は,異種クライアントに適応した分散的ロバストな目標群を最適化することで公平性を向上させる。 我々は,これらの目的の特殊構造を活用し,通信効率と収束速度の大幅な向上を達成するために,バイアス補正された局所ステップ(足場など)を用いたapdアルゴリズムを設計した。 我々は,いくつかのベンチマークデータセット上でScaff-PDを評価し,競争精度を維持しつつ,公平性と堅牢性を向上する効果を実証した。 以上の結果から,scaff-pdは資源制約および不均質環境における連合学習に有望なアプローチであることが示唆された。

関連論文リスト

• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Faster Convergence on Heterogeneous Federated Edge Learning: An Adaptive Clustered Data Sharing Approach [27.86468387141422]
  Federated Edge Learning (FEEL)は、6G Hyper-Connectivityのための分散機械学習パラダイムのパイオニアとして登場した。 現在のFEELアルゴリズムは、非独立かつ非独立に分散した(非IID)データと競合し、通信コストの上昇とモデルの精度が損なわれる。 我々はクラスタ化データ共有フレームワークを導入し、クラスタヘッドから信頼されたアソシエイトに部分的なデータを選択的に共有することで、データの均一性を緩和する。 実験により, このフレームワークは, 限られた通信環境において, 収束速度が速く, モデル精度が高い非IIDデータセット上で FEEL を促進することを示した。
  論文  参考訳（メタデータ） (2024-06-14T07:22:39Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup [90.26270347459915]
  そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
  論文  参考訳（メタデータ） (2023-07-30T14:53:21Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Federated Learning with Heterogeneous Data: A Superquantile Optimization Approach [0.0]
  我々は、不均一なデータを持つ個々のクライアントに対して、優れたパフォーマンスを確実に提供するように設計された、フェデレートされた学習フレームワークを提案する。 提案手法は,誤差の尾の統計を捉える水槽型学習訓練に基づく。
  論文  参考訳（メタデータ） (2021-12-17T11:00:23Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Fairness and Accuracy in Federated Learning [17.218814060589956]
  本稿では,federated learning (fedfa) における公平性と正確性を高めるアルゴリズムを提案する。 二重運動量勾配を採用する最適化スキームを導入し、それによってモデルの収束速度を加速する。 トレーニング精度とトレーニング頻度の情報量を組み合わせてウェイトを測定するための適切なウェイト選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-18T06:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。