論文の概要: FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy

• arxiv url: http://arxiv.org/abs/2302.10429v2
• Date: Wed, 5 Jul 2023 09:45:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 23:07:47.680380
• Title: FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy
• Title（参考訳）: FedSpeed: ローカルインターバルの拡大、コミュニケーションラウンドの削減、一般化の精度向上
• Authors: Yan Sun, Li Shen, Tiansheng Huang, Liang Ding, Dacheng Tao
• Abstract要約: フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
• 参考スコア（独自算出の注目度）: 84.45004766136663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning is an emerging distributed machine learning framework which jointly trains a global model via a large number of local devices with data privacy protections. Its performance suffers from the non-vanishing biases introduced by the local inconsistent optimal and the rugged client-drifts by the local over-fitting. In this paper, we propose a novel and practical method, FedSpeed, to alleviate the negative impacts posed by these problems. Concretely, FedSpeed applies the prox-correction term on the current local updates to efficiently reduce the biases introduced by the prox-term, a necessary regularizer to maintain the strong local consistency. Furthermore, FedSpeed merges the vanilla stochastic gradient with a perturbation computed from an extra gradient ascent step in the neighborhood, thereby alleviating the issue of local over-fitting. Our theoretical analysis indicates that the convergence rate is related to both the communication rounds $T$ and local intervals $K$ with a upper bound $\small \mathcal{O}(1/T)$ if setting a proper local interval. Moreover, we conduct extensive experiments on the real-world dataset to demonstrate the efficiency of our proposed FedSpeed, which performs significantly faster and achieves the state-of-the-art (SOTA) performance on the general FL experimental settings than several baselines. Our code is available at \url{https://github.com/woodenchild95/FL-Simulator.git}.
• Abstract（参考訳）: Federated Learningは、データプライバシ保護を備えた多数のローカルデバイスを通じて、グローバルモデルを共同でトレーニングする、新興の分散機械学習フレームワークである。 その性能は、局所的不整合最適と局所的過度適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題によって生じる負の影響を緩和する,新しい実用的な手法であるフェデスピードを提案する。 具体的には、FedSpeedが現在のローカルアップデートにprox-correction項を適用して、prox-termによって導入されたバイアスを効率的に削減する。 さらに、フェデスピードは、近傍の余分な勾配上昇ステップから計算された摂動とバニラ確率勾配とを融合し、局所的な過剰フィッティングの問題を軽減する。 我々の理論的解析は、収束速度が通信ラウンド$T$と局所区間$K$の双方に関係していることを示し、適切な局所区間を設定する場合、上限$\small \mathcal{O}(1/T)$である。 さらに,提案するフェデスピードの効率を実証するために,実世界のデータセットを広範囲に実験し,いくつかのベースラインよりも高速に動作し,一般的なfl実験環境での最先端(sota)性能を実現する。 私たちのコードは \url{https://github.com/woodenchild95/FL-Simulator.git} で利用可能です。

関連論文リスト

• Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness [29.679323144520037]
  フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で調整して、プライバシ保護モデルを構築することができる。 本稿では,最小限のアップリンク通信オーバヘッドを維持しつつ,一般化目標を考慮した新しいFLアルゴリズムであるFedTOGAを提案する。
  論文  参考訳（メタデータ） (2024-08-26T09:42:18Z)
• Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
  フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。 クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:46:21Z)
• FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
  フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。 我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。 我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
  論文  参考訳（メタデータ） (2024-05-27T15:25:32Z)
• Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup [90.26270347459915]
  そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
  論文  参考訳（メタデータ） (2023-07-30T14:53:21Z)
• Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization [84.42306265220274]
  フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
  論文  参考訳（メタデータ） (2023-06-09T06:55:15Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Revisiting Communication-Efficient Federated Learning with Balanced Global and Local Updates [14.851898446967672]
  本研究では,地域研修の数とグローバルアグリゲーションの数との最適なトレードオフを調査し,分析する。 提案手法は予測精度の点で性能が向上し,ベースライン方式よりもはるかに高速に収束する。
  論文  参考訳（メタデータ） (2022-05-03T13:05:26Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。