論文の概要: Revisiting Communication-Efficient Federated Learning with Balanced Global and Local Updates

• arxiv url: http://arxiv.org/abs/2205.01470v1
• Date: Tue, 3 May 2022 13:05:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 16:04:13.276040
• Title: Revisiting Communication-Efficient Federated Learning with Balanced Global and Local Updates
• Title（参考訳）: グローバル・ローカル・アップデートのバランスによるコミュニケーション効率の良いフェデレーション学習の見直し
• Authors: Zhigang Yan, Dong Li, Zhichao Zhang and Jiguang He
• Abstract要約: 本研究では,地域研修の数とグローバルアグリゲーションの数との最適なトレードオフを調査し,分析する。 提案手法は予測精度の点で性能が向上し,ベースライン方式よりもはるかに高速に収束する。
• 参考スコア（独自算出の注目度）: 14.851898446967672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated learning (FL), a number of devices train their local models and upload the corresponding parameters or gradients to the base station (BS) to update the global model while protecting their data privacy. However, due to the limited computation and communication resources, the number of local trainings (a.k.a. local update) and that of aggregations (a.k.a. global update) need to be carefully chosen. In this paper, we investigate and analyze the optimal trade-off between the number of local trainings and that of global aggregations to speed up the convergence and enhance the prediction accuracy over the existing works. Our goal is to minimize the global loss function under both the delay and the energy consumption constraints. In order to make the optimization problem tractable, we derive a new and tight upper bound on the loss function, which allows us to obtain closed-form expressions for the number of local trainings and that of global aggregations. Simulation results show that our proposed scheme can achieve a better performance in terms of the prediction accuracy, and converge much faster than the baseline schemes.
• Abstract（参考訳）: federated learning(fl)では、多くのデバイスがローカルモデルをトレーニングし、対応するパラメータや勾配をベースステーション(bs)にアップロードして、データプライバシを保護しながらグローバルモデルを更新する。 しかし、計算と通信資源が限られているため、ローカルトレーニング(ローカル更新)とアグリゲーション(グローバル更新)の数を慎重に選択する必要がある。 本稿では,局所訓練数とグローバルアグリゲーションの数との最適トレードオフを調査し,既存の作業に対する収束の高速化と予測精度の向上を図る。 我々の目標は、遅延とエネルギー消費の制約の両方の下で、グローバル損失関数を最小化することである。 最適化問題をトラクタブルにするために、ロス関数に新たに厳密な上限を導出し、局所的なトレーニング数と大域的な集約数のクローズドフォーム式を得られるようにする。 シミュレーションの結果,提案手法により予測精度が向上し,ベースライン方式よりもはるかに高速に収束できることが示唆された。

関連論文リスト

• Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness [29.679323144520037]
  フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で調整して、プライバシ保護モデルを構築することができる。 本稿では,最小限のアップリンク通信オーバヘッドを維持しつつ,一般化目標を考慮した新しいFLアルゴリズムであるFedTOGAを提案する。
  論文  参考訳（メタデータ） (2024-08-26T09:42:18Z)
• Decentralized Federated Learning Over Imperfect Communication Channels [68.08499874460857]
  本稿では、分散化フェデレーション学習(D-FL)における不完全なコミュニケーションチャネルの影響を解析する。 トレーニングラウンドあたりのローカルアグリゲーションの最適な数を決定し、ネットワークトポロジと不完全なチャネルに適応する。 D-FLは、最適数の局所的なアグリゲーションを持つため、トレーニング精度が10%以上向上する可能性がある。
  論文  参考訳（メタデータ） (2024-05-21T16:04:32Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Delay-Aware Hierarchical Federated Learning [7.292078085289465]
  本稿では,分散機械学習(ML)モデルの学習効率を向上させるために,遅延認識型階層型学習(DFL)を提案する。 グローバル同期の間、クラウドサーバは、凸制御アルゴリズムを使用して、ローカルモデルを時代遅れのグローバルモデルと統合する。 数値評価により、DFLの高速グローバルモデル、収束資源の削減、通信遅延に対する評価において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-03-22T09:23:29Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Global Update Guided Federated Learning [11.731231528534035]
  フェデレーション学習は、データの代わりにモデルを交換することで、データのプライバシとセキュリティを保護する。 本稿では,局所目的関数にモデルコサイン損失を導入したグローバル更新誘導型フェデレーションラーニング(FedGG)を提案する。 数値シミュレーションにより、FedGGはモデル収束精度と速度を著しく改善していることが示された。
  論文  参考訳（メタデータ） (2022-04-08T08:36:26Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
  フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。 局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。 本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T07:36:59Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• Federated Learning With Quantized Global Model Updates [84.55126371346452]
  モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。 本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-18T16:55:20Z)
• Jointly Optimizing Dataset Size and Local Updates in Heterogeneous Mobile Edge Learning [11.191719032853527]
  本稿では、リソース制約のある無線エッジを介して接続された学習者を対象に訓練された分散機械学習(ML)モデルの精度を最大化する。 我々は,各学習者の不均一なコミュニケーションと計算能力を考慮して,ローカル/グローバルな更新数とタスクサイズ割り当てを共同で最適化し,損失を最小限に抑える。
  論文  参考訳（メタデータ） (2020-06-12T18:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。