論文の概要: AsyncFedED: Asynchronous Federated Learning with Euclidean Distance
based Adaptive Weight Aggregation
- arxiv url: http://arxiv.org/abs/2205.13797v1
- Date: Fri, 27 May 2022 07:18:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 15:25:24.397212
- Title: AsyncFedED: Asynchronous Federated Learning with Euclidean Distance
based Adaptive Weight Aggregation
- Title（参考訳）: AsyncFeded: ユークリッド距離に基づく適応重み集約による非同期フェデレーション学習
- Authors: Qiyuan Wang, Qianqian Yang, Shibo He, Zhiguo Shui, Jiming Chen
- Abstract要約: 非同期学習フレームワークでは、サーバがクライアントから更新を受けると、すべての更新が設定通りに到着するのを待つのではなく、グローバルモデルを更新する。
AsyncFedEDと呼ばれる適応重み付けアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 17.57059932879715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In an asynchronous federated learning framework, the server updates the
global model once it receives an update from a client instead of waiting for
all the updates to arrive as in the synchronous setting. This allows
heterogeneous devices with varied computing power to train the local models
without pausing, thereby speeding up the training process. However, it
introduces the stale model problem, where the newly arrived update was
calculated based on a set of stale weights that are older than the current
global model, which may hurt the convergence of the model. In this paper, we
present an asynchronous federated learning framework with a proposed adaptive
weight aggregation algorithm, referred to as AsyncFedED. To the best of our
knowledge this aggregation method is the first to take the staleness of the
arrived gradients, measured by the Euclidean distance between the stale model
and the current global model, and the number of local epochs that have been
performed, into account. Assuming general non-convex loss functions, we prove
the convergence of the proposed method theoretically. Numerical results
validate the effectiveness of the proposed AsyncFedED in terms of the
convergence rate and model accuracy compared to the existing methods for three
considered tasks.
- Abstract（参考訳）: 非同期フェデレーション学習フレームワークでは、サーバがクライアントから更新を受けたら、同期設定のようにすべての更新が到着するのを待つのではなく、グローバルモデルを更新する。
これにより、様々な計算能力を持つ異種デバイスが、舗装せずにローカルモデルをトレーニングし、トレーニングプロセスのスピードアップが可能になる。
しかし,本手法では,現在のグローバルモデルよりも古い一組のスタイルウェイトに基づいて,新たに到着した更新を計算し,モデルの収束を損なう可能性のあるスタイルモデル問題を導入する。
本稿では,asyncfededと呼ばれる適応重み集約アルゴリズムを用いた非同期フェデレーション学習フレームワークを提案する。
我々の知る限りでは、この集計法は、安定モデルと現在のグローバルモデルの間のユークリッド距離によって測定された到着した勾配の安定度と、実行された局所的エポックの数を考慮に入れた最初のものである。
一般の非凸損失関数を仮定すると,提案手法の収束を理論的に証明する。
提案したAsyncFededの有効性を,既存の3つの課題に対する手法と比較して,収束率とモデル精度の観点から検証した。
関連論文リスト
- FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting [9.261784956541641]
非同期フェデレートラーニング(AFL)メソッドは、最も遅いエージェントによる非同期フェデレーションに代わる、有望な代替手段として登場した。
AFLモデルでは、更新を高速に生成できるエージェントに対して、遅いエージェントを残してトレーニングを行う。
我々はFedStaleWeightを紹介した。これは非同期クライアント更新の集約に、平均安定化を利用して公平な再重み付けを計算するアルゴリズムである。
論文 参考訳（メタデータ） (2024-06-05T02:52:22Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Mitigating System Bias in Resource Constrained Asynchronous Federated
Learning Systems [2.8790600498444032]
本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。
提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
論文 参考訳（メタデータ） (2024-01-24T10:51:15Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳（メタデータ） (2023-11-10T08:50:28Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳（メタデータ） (2023-11-02T16:45:25Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳（メタデータ） (2023-07-26T08:25:46Z) - Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates [28.813671194939225]
完全に分散化された最適化手法は、人気のあるパラメータサーバフレームワークに代わるものとして提唱されている。
本稿では、各労働者が通信する近隣労働者の数を適応的に決定することで、適応的な非同期更新を施した完全に分散化されたアルゴリズムを提案する。
DSGD-AAUは収束の線形高速化を実現し,その有効性を示す。
論文 参考訳（メタデータ） (2023-06-11T02:08:59Z) - Blind Asynchronous Over-the-Air Federated Edge Learning [15.105440618101147]
Federated Edge Learning (FEEL)は、分散機械学習技術である。
本研究では,大気上のグローバルモデルのパラメータを復元する新しい同期のない手法を提案する。
提案アルゴリズムは, 理想的な同期シナリオに10ドル近く近づき, 単純な場合よりも4倍の精度で実行可能である。
論文 参考訳（メタデータ） (2022-10-31T16:54:14Z) - From Deterioration to Acceleration: A Calibration Approach to
Rehabilitating Step Asynchronism in Federated Optimization [13.755421424240048]
我々は,局所的な方向を予測的グローバルな方向に調整する新しいアルゴリズムであるtexttFedaGracを提案する。
理論的には、texttFedaGrac は最先端のアプローチよりも収束率の向上を証明している。
論文 参考訳（メタデータ） (2021-12-17T07:26:31Z) - Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文 参考訳（メタデータ） (2020-07-15T05:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。