論文の概要: Optimization Trade-offs in Asynchronous Federated Learning: A Stochastic Networks Approach

• arxiv url: http://arxiv.org/abs/2603.26231v1
• Date: Fri, 27 Mar 2026 09:53:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.430279
• Title: Optimization Trade-offs in Asynchronous Federated Learning: A Stochastic Networks Approach
• Title（参考訳）: 非同期フェデレーション学習における最適化トレードオフ-確率的ネットワークアプローチ
• Authors: Abdelkrim Alahyane, Céline Comte, Matthieu Jonckheere,
• Abstract要約: 非同期アルゴリズムは、到着時に更新を処理することで、更新スループットを向上する。 収束を低下させる勾配の安定化と、不均一なデータの下でより高速なクライアントへのバイアス。 我々は,クライアントとサーバのランダムな計算時間を共同でモデル化する汎用AsyncSGDのキューネットワークフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 2.0200069355804264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synchronous federated learning scales poorly due to the straggler effect. Asynchronous algorithms increase the update throughput by processing updates upon arrival, but they introduce two fundamental challenges: gradient staleness, which degrades convergence, and bias toward faster clients under heterogeneous data distributions. Although algorithms such as AsyncSGD and Generalized AsyncSGD mitigate this bias via client-side task queues, most existing analyses neglect the underlying queueing dynamics and lack closed-form characterizations of the update throughput and gradient staleness. To close this gap, we develop a stochastic queueing-network framework for Generalized AsyncSGD that jointly models random computation times at the clients and the central server, as well as random uplink and downlink communication delays. Leveraging product-form network theory, we derive a closed-form expression for the update throughput, alongside closed-form upper bounds for both the communication round complexity and the expected wall-clock time required to reach an $ε$-stationary point. These results formally characterize the trade-off between gradient staleness and wall-clock convergence speed. We further extend the framework to quantify energy consumption under stochastic timing, revealing an additional trade-off between convergence speed and energy efficiency. Building on these analytical results, we propose gradient-based optimization strategies to jointly optimize routing and concurrency. Experiments on EMNIST demonstrate reductions of 29%--46% in convergence time and 36%--49% in energy consumption compared to AsyncSGD.
• Abstract（参考訳）: 同期的フェデレーション学習は、ストラグラー効果により、不十分にスケールする。 非同期アルゴリズムは到着時の更新処理によって更新スループットを向上するが,収束性を低下させる勾配の安定化と,異種データ分散下での高速クライアントへのバイアスという,2つの基本的な課題を導入している。 AsyncSGDやGeneralized AsyncSGDのようなアルゴリズムはこのバイアスをクライアントサイドのタスクキューで緩和するが、既存の分析のほとんどは、基礎となるキューのダイナミクスを無視し、更新スループットと勾配の安定性のクローズドフォームの特徴を欠いている。 このギャップを埋めるために、我々は、クライアントと中央サーバのランダムな計算時間と、ランダムなアップリンクとダウンリンク通信遅延を共同でモデル化するGeneralized AsyncSGDのための確率的キュー・ネットワークフレームワークを開発する。 積形式ネットワーク理論を応用して、更新スループットのクローズドフォーム表現と、通信ラウンドの複雑さと、ε$静止点に達するのに必要なウォールクロック時間の両方のクローズドフォーム上限を導出する。 これらの結果は、勾配安定度と壁面収束速度のトレードオフを正式に特徴づける。 さらに、確率的タイミングでエネルギー消費を定量化するための枠組みを拡張し、収束速度とエネルギー効率の間にさらなるトレードオフを明らかにする。 これらの解析結果に基づいて、ルーティングと並列性を協調的に最適化するための勾配に基づく最適化手法を提案する。 EMNIST実験では, AsyncSGDと比較して収束時間の29%～46%, エネルギー消費の36%～49%が減少した。

関連論文リスト

• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Optimizing Asynchronous Federated Learning: A Delicate Trade-Off Between Model-Parameter Staleness and Update Frequency [2.1990852305468533]
  同期フェデレーションラーニング(FL)は、ストラグラー効果によりクライアント数に悪影響を及ぼす。 本研究では,非同期FLアルゴリズムにおける設計選択の影響をよりよく理解するために,モデリングと解析に頼っている。 特に,モデルパラメータの安定化を回避し,勾配推定誤差の最小化という,非同期FLの最適化のための基本的なトレードオフを特徴付ける。
  論文  参考訳（メタデータ） (2025-02-12T08:38:13Z)
• Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework [56.82432591933544]
  分散勾配降下(SGD)は、計算リソースのスケーリング、トレーニング時間の短縮、マシンラーニングにおけるユーザのプライバシ保護の支援などにより、近年注目されている。 本稿では,遅延微分方程式(SDDE)と勾配到着の近似に基づく分散SGDの実行時間と安定化について述べる。 活性化作業員の増加は, 安定度による分散SGDを必ずしも加速させるものではないことが興味深い。
  論文  参考訳（メタデータ） (2024-06-17T02:56:55Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
  underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA) textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。 最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。