論文の概要: DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency
for Federated Learning with Static and Streaming Dataset
- arxiv url: http://arxiv.org/abs/2310.14906v1
- Date: Fri, 20 Oct 2023 08:36:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 20:07:45.870283
- Title: DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency
for Federated Learning with Static and Streaming Dataset
- Title（参考訳）: dynamite: 静的およびストリーミングデータセットを用いた連合学習のためのミニバッチサイズとアグリゲーション頻度の動的相互作用
- Authors: Weijie Liu, Xiaoxi Zhang, Jingpu Duan, Carlee Joe-Wong, Zhi Zhou, and
Xu Chen
- Abstract要約: Federated Learning(FL)は、異種エッジデバイスをコーディネートして、プライベートデータを共有せずにモデルトレーニングを実行する分散学習パラダイムである。
本稿では、バッチサイズと集約周波数の相互作用を利用して、動的FLトレーニングにおける収束、コスト、完了時間間のトレードオフをナビゲートする新しい解析モデルと最適化アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 23.11152686493894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a distributed learning paradigm that can
coordinate heterogeneous edge devices to perform model training without sharing
private data. While prior works have focused on analyzing FL convergence with
respect to hyperparameters like batch size and aggregation frequency, the joint
effects of adjusting these parameters on model performance, training time, and
resource consumption have been overlooked, especially when facing dynamic data
streams and network characteristics. This paper introduces novel analytical
models and optimization algorithms that leverage the interplay between batch
size and aggregation frequency to navigate the trade-offs among convergence,
cost, and completion time for dynamic FL training. We establish a new
convergence bound for training error considering heterogeneous datasets across
devices and derive closed-form solutions for co-optimized batch size and
aggregation frequency that are consistent across all devices. Additionally, we
design an efficient algorithm for assigning different batch configurations
across devices, improving model accuracy and addressing the heterogeneity of
both data and system characteristics. Further, we propose an adaptive control
algorithm that dynamically estimates network states, efficiently samples
appropriate data batches, and effectively adjusts batch sizes and aggregation
frequency on the fly. Extensive experiments demonstrate the superiority of our
offline optimal solutions and online adaptive algorithm.
- Abstract（参考訳）: Federated Learning(FL)は、異種エッジデバイスをコーディネートして、プライベートデータを共有せずにモデルトレーニングを実行する分散学習パラダイムである。
従来の研究は、バッチサイズや集約周波数といったハイパーパラメータに関するFL収束の分析に重点を置いていたが、これらのパラメータをモデル性能、トレーニング時間、リソース消費に調整する共同効果は、特に動的データストリームやネットワーク特性に直面する場合、見過ごされている。
本稿では,動的fl学習における収束,コスト,完了時間のトレードオフをナビゲートするために,バッチサイズとアグリゲーション周波数の相互作用を利用した新しい解析モデルと最適化アルゴリズムを提案する。
デバイス間の不均一なデータセットを考慮したトレーニングエラーに対する新たな収束境界を確立し,全デバイスで一貫した共最適化バッチサイズとアグリゲーション周波数のためのクローズドフォームソリューションを導出する。
さらに、デバイス間で異なるバッチ構成を割り当てる効率的なアルゴリズムを設計し、モデル精度を改善し、データ特性とシステム特性の均一性に対処する。
さらに,ネットワーク状態を動的に推定し,適切なデータバッチを効率的にサンプリングし,バッチサイズやアグリゲーション頻度を効果的に調整する適応制御アルゴリズムを提案する。
大規模な実験は、オフライン最適解とオンライン適応アルゴリズムの優位性を示す。
関連論文リスト
- Adaptive Federated Learning in Heterogeneous Wireless Networks with
Independent Sampling [16.121943421997557]
Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。
近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。
本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-02-15T16:51:38Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Asynchronous Multi-Model Dynamic Federated Learning over Wireless
Networks: Theory, Modeling, and Optimization [20.741776617129208]
分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。
まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。
我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
論文 参考訳（メタデータ） (2023-05-22T21:39:38Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - FedGPO: Heterogeneity-Aware Global Parameter Optimization for Efficient
Federated Learning [11.093360539563657]
フェデレートラーニング(FL)は、機械学習トレーニングにおけるプライバシリークのリスクに対処するソリューションとして登場した。
我々は,モデル収束を保証しつつ,FLのエネルギー効率を最適化するFedGPOを提案する。
我々の実験では、FedGPOはモデル収束時間を2.4倍改善し、ベースライン設定の3.6倍のエネルギー効率を達成する。
論文 参考訳（メタデータ） (2022-11-30T01:22:57Z) - Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。
最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。
提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文 参考訳（メタデータ） (2021-11-26T18:44:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。