論文の概要: Towards Bias Correction of FedAvg over Nonuniform and Time-Varying Communications

• arxiv url: http://arxiv.org/abs/2306.00280v1
• Date: Thu, 1 Jun 2023 01:52:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 18:39:16.468122
• Title: Towards Bias Correction of FedAvg over Nonuniform and Time-Varying Communications
• Title（参考訳）: 不均一・時変通信におけるFedAvgのバイアス補正
• Authors: Ming Xiang, Stratis Ioannidis, Edmund Yeh, Carlee Joe-Wong, Lili Su
• Abstract要約: Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。 チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
• 参考スコア（独自算出の注目度）: 26.597515045714502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a decentralized learning framework wherein a parameter server (PS) and a collection of clients collaboratively train a model via minimizing a global objective. Communication bandwidth is a scarce resource; in each round, the PS aggregates the updates from a subset of clients only. In this paper, we focus on non-convex minimization that is vulnerable to non-uniform and time-varying communication failures between the PS and the clients. Specifically, in each round $t$, the link between the PS and client $i$ is active with probability $p_i^t$, which is $\textit{unknown}$ to both the PS and the clients. This arises when the channel conditions are heterogeneous across clients and are changing over time. We show that when the $p_i^t$'s are not uniform, $\textit{Federated Average}$ (FedAvg) -- the most widely adopted FL algorithm -- fails to minimize the global objective. Observing this, we propose $\textit{Federated Postponed Broadcast}$ (FedPBC) which is a simple variant of FedAvg. It differs from FedAvg in that the PS postpones broadcasting the global model till the end of each round. We show that FedPBC converges to a stationary point of the original objective. The introduced staleness is mild and there is no noticeable slowdown. Both theoretical analysis and numerical results are provided. On the technical front, postponing the global model broadcasts enables implicit gossiping among the clients with active links at round $t$. Despite $p_i^t$'s are time-varying, we are able to bound the perturbation of the global model dynamics via the techniques of controlling the gossip-type information mixing errors.
• Abstract（参考訳）: Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を最小化してモデルをトレーニングする分散学習フレームワークである。 通信帯域幅は乏しいリソースであり、各ラウンドでPSはクライアントのサブセットからのみ更新を集約する。 本稿では,PSとクライアント間の非一様・時間的通信障害に対して脆弱な非凸最小化に着目した。 具体的には、各ラウンド$t$ において、ps とクライアント $i$ のリンクは、確率 $p_i^t$ でアクティブであり、これは ps とクライアントの両方に$\textit{unknown}$である。 これは、チャネル条件がクライアント間で異種で、時間とともに変化する場合に発生する。 p_i^t$'sが一様でない場合、最も広く採用されているFLアルゴリズムである$\textit{Federated Average}$ (FedAvg)は、グローバルな目的を最小化できない。 これを見て、FedAvgの単純な変種である$\textit{Federated Postponed Broadcast}$ (FedPBC)を提案する。 PSは各ラウンドの終了までグローバルモデルを放送することを延期するという点でFedAvgとは異なる。 我々は,FedPBCが本来の目的の静止点に収束していることを示す。 導入された停滞は軽度であり、明らかな減速はない。 理論的解析と数値計算の両方が提供される。 技術的な面では、グローバルモデルのブロードキャストを延期することで、ラウンド$t$でアクティブリンクを持つクライアント間の暗黙のゴシップが可能になる。 p_i^t$'sは時間的変化があるにもかかわらず、ゴシップ型情報混合誤差を制御する技術により、グローバルモデル力学の摂動を束縛することができる。

関連論文リスト

• CAFe: Cost and Age aware Federated Learning [34.16488071014024]
  多くのフェデレートドラーニング(FL)モデルでは、N$のクライアントのうち少なくとも$M$のクライアントがローカルな勾配を返送するのを待つことが一般的な戦略である。 我々は、PSにおけるクライアントの平均年齢が理論収束境界に明示的に現れることを示し、従って、大域モデルの収束を定量化するための計量として用いることができる。
  論文  参考訳（メタデータ） (2024-05-24T17:41:30Z)
• Empowering Federated Learning with Implicit Gossiping: Mitigating Connection Unreliability Amidst Unknown and Arbitrary Dynamics [23.466997173249034]
  フェデレーション学習は、生データを公開せずに機械学習モデルをトレーニングするための一般的なアプローチである。 p_it$がクライアントによって異なる場合、最も広く採用されているフェデレーション学習アルゴリズムであるFederated Average(FedAvg)は、大きなバイアスを経験する。 我々は、FedAvgの単純な変種であるFederated Postponed Broadcast (FedPBC)を提案する。
  論文  参考訳（メタデータ） (2024-04-15T18:58:39Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• Adaptive Compression in Federated Learning via Side Information [28.401993810064255]
  約$D_KL(q_phi(n) p_theta$ ビットの通信を必要とするフレームワークを提案する。 私たちは、我々のメソッドを既存の圧縮フレームワークに組み込むことで、以前の作業の最大8,2500ドル(約8,500円)の精度で、同じ(そしてしばしば高い)テストの精度を達成することができることを示しています。
  論文  参考訳（メタデータ） (2023-06-22T01:29:50Z)
• Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
  クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。 クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。 各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
  論文  参考訳（メタデータ） (2023-06-21T17:39:16Z)
• Federated Learning in the Presence of Adversarial Client Unavailability [16.201377650598516]
  フェデレートラーニング(Federated Learning)は、生データを公開せずにコラボレーティブモデルを可能にする、分散機械学習フレームワークである。 多様なハードウェアソフトウェアに制限があるため、クライアントはサーバからの計算要求に対して常に利用できるとは限らない。 戦場のような厳しい環境では、敵は特定のクライアントを選択的に黙らせることができる。
  論文  参考訳（メタデータ） (2023-05-31T15:57:07Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Timely Communication in Federated Learning [65.1253801733098]
  我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。 提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。 各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:52:08Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。