論文の概要: FedQueue: Queue-Aware Federated Learning for Cross-Facility HPC Training
- arxiv url: http://arxiv.org/abs/2605.02125v2
- Date: Mon, 11 May 2026 17:48:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 19:24:01.150735
- Title: FedQueue: Queue-Aware Federated Learning for Cross-Facility HPC Training
- Title(参考訳): FedQueue: クロスファシリティなHPCトレーニングのためのキュー対応フェデレーションラーニング
- Authors: Yijiang Li, Emon Dey, Zilinghan Li, Krishnan Raghavan, Ravi Madduri, Kibaek Kim,
- Abstract要約: 複数のHPC施設にまたがる制御学習(FL)は、壁時計時間を支配するバッチスケジューラの受け入れ遅延に直面している。
本稿では,スケジューリングやアグリゲーションに直接スケジューラ遅延を組み込むキュー対応FLプロトコルであるFedQueueを提案する。
- 参考スコア(独自算出の注目度): 9.92589213662115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) across multiple HPC facilities faces stochastic admission delays from batch schedulers that dominate wall-clock time. Synchronous FL suffers from severe stragglers, while asynchronous FL accumulates stale updates when queues spike. We propose FedQueue, a queue-aware FL protocol that incorporates scheduler delays directly into training and aggregation, which (i) predicts per-facility queue delays online to budget local work, (ii) applies cutoff-based admission that buffers late arrivals to bound staleness, and (iii) performs staleness-aware aggregation to stabilize heterogeneous local workloads. We prove the convergence for non-convex objectives at rate $\mathcal{O}(1/\sqrt{R})$ under bounded staleness, and show that the admission controls yield bounded staleness with high probability under queue-prediction error. Real-world cross-facility deployment of FedQueue shows 20.5% improvement over baseline algorithms. Controlled queue simulations demonstrate robust improvement over the baselines; in particular, about 34% reduction in time to reach a target accuracy level under high queue variance and non-IID partitions.
- Abstract(参考訳): 複数のHPC施設にまたがるフェデレーテッドラーニング(FL)は、ウォールクロック時間を支配するバッチスケジューラからの確率的入場遅延に直面している。
同期FLは厳しいストラグラーに悩まされ、非同期FLはキューのスパイク時に古い更新を蓄積する。
我々は、スケジューラ遅延を直接トレーニングとアグリゲーションに組み込むキュー対応FLプロトコルであるFedQueueを提案する。
i) ローカル作業の予算化のために、オンラインでファシリティ毎の待ち行列を予測する。
(二)遅れた着信を安定度に緩衝するカットオフ方式の受付を施し、
(iii) 不均質なローカルワークロードを安定化させるために、ステールネス対応アグリゲーションを実行する。
我々は、非凸対象に対する収束を、有界安定度で$$\mathcal{O}(1/\sqrt{R})$で証明し、入力制御が待ち行列予測誤差の下で高い確率で有界安定度が得られることを示す。
FedQueueの実際のクロスファシリティデプロイメントは、ベースラインアルゴリズムよりも20.5%改善されている。
制御されたキューシミュレーションは、ベースラインよりも堅牢な改善を示し、特に、高いキュー分散と非IIDパーティションの下でターゲット精度レベルに達するために、約34%の時間を短縮する。
関連論文リスト
- Qurator: Scheduling Hybrid Quantum-Classical Workflows Across Heterogeneous Cloud Providers [0.0]
アーキテクチャに依存しない量子古典的タスクスケジューラであるQuratorを、異種プロバイダ間の待ち時間と回路忠実度を共同で最適化する。
ミュンヘン量子ツールキットベンチマークスイートの回路を用いて,4ヶ月の実際のキューデータによって駆動されるシミュレータ上でQuratorを評価する。
論文 参考訳(メタデータ) (2026-04-07T06:58:46Z) - Optimization Trade-offs in Asynchronous Federated Learning: A Stochastic Networks Approach [2.0200069355804264]
非同期アルゴリズムは、到着時に更新を処理することで、更新スループットを向上する。
収束を低下させる勾配の安定化と、不均一なデータの下でより高速なクライアントへのバイアス。
我々は,クライアントとサーバのランダムな計算時間を共同でモデル化する汎用AsyncSGDのキューネットワークフレームワークを開発した。
論文 参考訳(メタデータ) (2026-03-27T09:53:53Z) - ReLaMix: Residual Latency-Aware Mixing for Delay-Robust Financial Time-Series Forecasting [7.648281596746326]
ReLaMixはTimeMixerの軽量な拡張であり、学習可能なボトルネック圧縮と、遅延した観測下でのロバストな信号回復のための残留リファインメントを統合している。
大規模な第2分解能PAXGUSDTベンチマークの実験では、ReLaMixは複数の遅延比と予測地平線をまたいだ最先端の精度を一貫して達成している。
論文 参考訳(メタデータ) (2026-03-21T16:06:17Z) - Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。
それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。
本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
論文 参考訳(メタデータ) (2025-09-29T15:52:08Z) - SyncFed: Time-Aware Federated Learning through Explicit Timestamping and Synchronization [0.6749750044497732]
emphSyncFedは、明示的な同期とタイムスタンプを使用して、システム全体で共通の時間的参照を確立する、時間対応のFLフレームワークである。
静的性は、NTP(Network Time Protocol)の下で交換されたタイムスタンプに基づいて数値化され、サーバがクライアント更新の相対的な鮮度について推論することができる。
地理的に分散したテストベッドを用いた実験により, グローバルモデルが安定な時間的文脈で進化し, 精度と情報更新性が向上したことを示す。
論文 参考訳(メタデータ) (2025-06-11T12:29:20Z) - Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文 参考訳(メタデータ) (2025-05-29T19:59:18Z) - Error-quantified Conformal Inference for Time Series [55.11926160774831]
時系列予測の不確かさの定量化は、時系列データの時間的依存と分布シフトのために困難である。
量子化損失関数をスムースにすることで,iError-quantified Conformal Inference (ECI)を提案する。
ECIは有効な誤発見制御と、他のベースラインよりも厳密な予測セットを出力することができる。
論文 参考訳(メタデータ) (2025-02-02T15:02:36Z) - Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework [56.82432591933544]
分散勾配降下(SGD)は、計算リソースのスケーリング、トレーニング時間の短縮、マシンラーニングにおけるユーザのプライバシ保護の支援などにより、近年注目されている。
本稿では,遅延微分方程式(SDDE)と勾配到着の近似に基づく分散SGDの実行時間と安定化について述べる。
活性化作業員の増加は, 安定度による分散SGDを必ずしも加速させるものではないことが興味深い。
論文 参考訳(メタデータ) (2024-06-17T02:56:55Z) - Semi-Synchronous Personalized Federated Learning over Mobile Edge
Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。
我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。
PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文 参考訳(メタデータ) (2022-09-27T02:12:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。