論文の概要: Optimal Batch-Size Control for Low-Latency Federated Learning with Device Heterogeneity
- arxiv url: http://arxiv.org/abs/2507.15601v1
- Date: Mon, 21 Jul 2025 13:24:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.410419
- Title: Optimal Batch-Size Control for Low-Latency Federated Learning with Device Heterogeneity
- Title（参考訳）: デバイス不均一性を考慮した低レイテンシフェデレーション学習のための最適バッチサイズ制御
- Authors: Huiling Yang, Zhanwei Wang, Kaibin Huang,
- Abstract要約: フェデレートラーニング(FL)は、第6世代(6G)ネットワークにおける協調機械学習の一般的なアプローチとして登場した。
FLアルゴリズムの展開は、自律運転、拡張現実、ヘルスケアなど、幅広いIoT(Internet-of-Things)アプリケーションを強化することが期待されている。
本稿では,収束性を確保しつつ,エンドツーエンド(E2E)学習遅延を最小限に抑える,バッチサイズ最適制御のための新しいC$2のフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 24.47280082248569
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has emerged as a popular approach for collaborative machine learning in sixth-generation (6G) networks, primarily due to its privacy-preserving capabilities. The deployment of FL algorithms is expected to empower a wide range of Internet-of-Things (IoT) applications, e.g., autonomous driving, augmented reality, and healthcare. The mission-critical and time-sensitive nature of these applications necessitates the design of low-latency FL frameworks that guarantee high learning performance. In practice, achieving low-latency FL faces two challenges: the overhead of computing and transmitting high-dimensional model updates, and the heterogeneity in communication-and-computation (C$^2$) capabilities across devices. To address these challenges, we propose a novel C$^2$-aware framework for optimal batch-size control that minimizes end-to-end (E2E) learning latency while ensuring convergence. The framework is designed to balance a fundamental C$^2$ tradeoff as revealed through convergence analysis. Specifically, increasing batch sizes improves the accuracy of gradient estimation in FL and thus reduces the number of communication rounds required for convergence, but results in higher per-round latency, and vice versa. The associated problem of latency minimization is intractable; however, we solve it by designing an accurate and tractable surrogate for convergence speed, with parameters fitted to real data. This approach yields two batch-size control strategies tailored to scenarios with slow and fast fading, while also accommodating device heterogeneity. Extensive experiments using real datasets demonstrate that the proposed strategies outperform conventional batch-size adaptation schemes that do not consider the C$^2$ tradeoff or device heterogeneity.
- Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、第6世代(6G)ネットワークにおけるコラボレーティブ・機械学習の一般的なアプローチとして登場した。
FLアルゴリズムの展開は、IoT(Internet-of-Things)アプリケーション、例えば、自律運転、拡張現実、ヘルスケアなど、幅広い分野のアプリケーションに力を与えることが期待されている。
これらのアプリケーションのミッションクリティカルで時間に敏感な性質は、高い学習性能を保証する低レイテンシFLフレームワークの設計を必要とする。
実際には、低レイテンシFLを実現するには、高次元モデル更新のオーバーヘッドと、デバイス間の通信・計算(C$^2$)のヘテロジニティの2つの課題がある。
これらの課題に対処するために、収束を確保しつつ、エンドツーエンド(E2E)学習遅延を最小限に抑える最適なバッチサイズ制御のための新しいC$^2$-awareフレームワークを提案する。
このフレームワークは収束解析によって明らかにされた基本的なC$^2$トレードオフのバランスをとるように設計されている。
具体的には、バッチサイズの増大により、FLの勾配推定の精度が向上し、収束に必要な通信ラウンド数が減少するが、ラウンドごとのレイテンシが高くなる。
レイテンシの最小化に関する問題は難解であるが、実際のデータにパラメータを組み込んだ収束速度のための正確でトラクタブルなサロゲートを設計することで解決する。
このアプローチは、2つのバッチサイズ制御戦略をスローで高速なフェージングのシナリオに適合させ、デバイスの不均一性を調節する。
実データセットを用いた大規模な実験により、提案手法はC$^2$トレードオフやデバイス不均一性を考慮しない従来のバッチサイズ適応方式よりも優れていることが示された。
関連論文リスト
- Lightweight Federated Learning over Wireless Edge Networks [83.4818741890634]
Federated (FL) はネットワークエッジの代替品であるが、無線ネットワークでは代替品である。
閉形式式FL収束ギャップ伝送パワー,モデルプルーニング誤差,量子化を導出する。
LTFLは、実世界のデータセットの実験において最先端のスキームよりも優れている。
論文 参考訳（メタデータ） (2025-07-13T09:14:17Z) - Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。
既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。
本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
論文 参考訳（メタデータ） (2025-01-20T04:26:21Z) - Age-Based Device Selection and Transmit Power Optimization in Over-the-Air Federated Learning [44.04728314657621]
オーバー・ザ・エア・フェデレーション・ラーニング(FL)は、コミュニケーション効率を高める能力において大きな注目を集めている。
特に、FLでストラグラーデバイスを無視すると、モデル更新の公平性が低下し、あるデバイスのデータに対するグローバルモデルのバイアスが増幅される可能性がある。
本稿では、トラグラー装置の適切な参加を保証し、効率的なトレーニング性能を維持し、タイムリーな更新を保証する共同装置選択および送信電力最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2025-01-03T14:27:13Z) - Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。
本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。
提案手法の有効性を数値解析により検証した。
論文 参考訳（メタデータ） (2024-11-04T17:48:02Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous
Edge Devices [20.52519915112099]
我々はAny CostFLというコスト調整可能なFLフレームワークを提案し、多様なエッジデバイスがローカル更新を効率的に実行できるようにする。
実験結果から,我々の学習フレームワークは,適切なグローバルテスト精度を実現するために,トレーニング遅延とエネルギー消費の最大1.9倍の削減が可能であることが示唆された。
論文 参考訳（メタデータ） (2023-01-08T15:25:55Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - Efficient Adaptive Federated Optimization of Federated Learning for IoT [0.0]
本稿では、フェデレート学習(FL)の効率を改善するために、新しい適応型適応型最適化(EAFO)アルゴリズムを提案する。
FLは分散プライバシ保護学習フレームワークで、モデルパラメータを共有することで、IoTデバイスがグローバルモデルをトレーニングできる。
実験の結果,提案したEAFOはより高速に精度を向上できることがわかった。
論文 参考訳（メタデータ） (2022-06-23T01:49:12Z) - Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。
本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-29T12:39:23Z) - Federated Learning via Intelligent Reflecting Surface [30.935389187215474]
オーバー・ザ・エア・コンピューティング・アルゴリズム(FL)は,複数のアクセスチャネルの波形重畳特性を利用して高速なモデルアグリゲーションを実現することができる。
本稿では,AirCompベースのFLのための高速かつ信頼性の高いモデルアグリゲーションを実現するための2段階最適化フレームワークを提案する。
シミュレーションの結果,提案するフレームワークとIRSの展開により,ベースラインアルゴリズムよりもトレーニング損失が低く,FL予測精度も高いことがわかった。
論文 参考訳（メタデータ） (2020-11-10T11:29:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。