論文の概要: DynamicFL: Balancing Communication Dynamics and Client Manipulation for Federated Learning

• arxiv url: http://arxiv.org/abs/2308.06267v1
• Date: Sun, 16 Jul 2023 19:09:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-20 16:39:40.523987
• Title: DynamicFL: Balancing Communication Dynamics and Client Manipulation for Federated Learning
• Title（参考訳）: dynamicfl: 連合学習のためのコミュニケーションダイナミクスとクライアント操作のバランス
• Authors: Bocheng Chen, Nikolay Ivanov, Guangjing Wang, Qiben Yan
• Abstract要約: Federated Learning(FL)は、数百万のエッジデバイスにわたる分散データを活用することで、グローバルモデルをトレーニングすることを目的としている。 地理的に分散したエッジデバイスと非常にダイナミックなネットワークが混在していることを考えると、参加するデバイスからすべてのモデル更新を集約すると、FLでは必然的な長期遅延が発生する。 本稿では,クライアント操作戦略を特別に設計した大規模エッジデバイスにおける通信力学とデータ品質を考慮した新しいFLフレームワークであるDynamicFLを提案する。
• 参考スコア（独自算出の注目度）: 6.9138560535971605
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated Learning (FL) is a distributed machine learning (ML) paradigm, aiming to train a global model by exploiting the decentralized data across millions of edge devices. Compared with centralized learning, FL preserves the clients' privacy by refraining from explicitly downloading their data. However, given the geo-distributed edge devices (e.g., mobile, car, train, or subway) with highly dynamic networks in the wild, aggregating all the model updates from those participating devices will result in inevitable long-tail delays in FL. This will significantly degrade the efficiency of the training process. To resolve the high system heterogeneity in time-sensitive FL scenarios, we propose a novel FL framework, DynamicFL, by considering the communication dynamics and data quality across massive edge devices with a specially designed client manipulation strategy. \ours actively selects clients for model updating based on the network prediction from its dynamic network conditions and the quality of its training data. Additionally, our long-term greedy strategy in client selection tackles the problem of system performance degradation caused by short-term scheduling in a dynamic network. Lastly, to balance the trade-off between client performance evaluation and client manipulation granularity, we dynamically adjust the length of the observation window in the training process to optimize the long-term system efficiency. Compared with the state-of-the-art client selection scheme in FL, \ours can achieve a better model accuracy while consuming only 18.9\% -- 84.0\% of the wall-clock time. Our component-wise and sensitivity studies further demonstrate the robustness of \ours under various real-life scenarios.
• Abstract（参考訳）: federated learning (fl) は分散機械学習(ml)パラダイムであり、数百万のエッジデバイスにわたる分散データを活用してグローバルモデルをトレーニングすることを目的としている。 集中学習と比較して、FLはデータを明示的にダウンロードすることを避けてクライアントのプライバシを保存する。 しかし、高度にダイナミックなネットワークを持つ地理的に分散したエッジデバイス(例えば、モバイル、車、電車、地下鉄)を考えると、これらのデバイスからすべてのモデルアップデートを集約すると、flでは避けられないロングテール遅延が発生する。 これにより、トレーニングプロセスの効率が大幅に低下する。 時間に敏感なFLシナリオにおける高システム不均一性を解決するために,クライアント操作戦略を特別に設計した大規模デバイス間の通信ダイナミクスとデータ品質を考慮した新しいFLフレームワークであるDynamicFLを提案する。 \oursは動的ネットワーク条件とトレーニングデータの品質から,ネットワーク予測に基づいてモデル更新を行うクライアントを積極的に選択する。 さらに、クライアント選択における長期欲求戦略は、動的ネットワークにおける短期スケジューリングによるシステム性能劣化の問題に対処する。 最後に、クライアントの性能評価とクライアント操作粒度とのトレードオフのバランスをとるため、トレーニングプロセスにおける観察窓の長さを動的に調整し、長期システムの効率を最適化する。 flの最先端のクライアント選択方式と比較すると、 \ours は18.9\% -- 84.0\% のウォールクロック時間を消費しながら、より良いモデル精度を達成できる。 本研究は, 様々な実生活シナリオにおいて, 成分的, 感度的な研究によりさらに頑健性を示す。

関連論文リスト

• HierSFL: Local Differential Privacy-aided Split Federated Learning in Mobile Edge Computing [7.180235086275924]
  フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。 Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。 この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。 我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
  論文  参考訳（メタデータ） (2024-01-16T09:34:10Z)
• Speed Up Federated Learning in Heterogeneous Environment: A Dynamic Tiering Approach [5.504000607257414]
  フェデレートラーニング(FL)は、トレーニングデータを分散化してプライベートにしながら、モデルを協調的にトレーニングすることを可能にする。 FLを用いたモデルのトレーニングにおける重要な障害の1つは、様々なタスクサイズだけでなく、不均一な計算と通信能力を持つデバイスのリソース制約である。 本稿では、動的タイリングに基づくフェデレート学習(DTFL)システムを提案する。このシステムでは、遅いクライアントがモデルの一部を動的にサーバにオフロードし、リソース制約を緩和し、トレーニングを高速化する。
  論文  参考訳（メタデータ） (2023-12-09T19:09:19Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Joint Age-based Client Selection and Resource Allocation for Communication-Efficient Federated Learning over NOMA Networks [8.030674576024952]
  FL(Federated Learning)では、分散クライアントは、自身のトレーニングデータをローカルに保持しながら、共有グローバルモデルを共同でトレーニングすることができる。 本稿では,非直交多重アクセス(NOMA)を利用した無線ネットワーク上でのFLにおける各ラウンドの総時間消費を最小化することを目的とした,クライアント選択とリソース割り当ての協調最適化問題を定式化する。 さらに、各ラウンドで選択されていないクライアントのFLモデルを予測し、FL性能をさらに向上するために、サーバサイド人工知能ニューラルネットワーク(ANN)を提案する。
  論文  参考訳（メタデータ） (2023-04-18T13:58:16Z)
• Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach [20.300740276237523]
  フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。 FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-03-18T09:45:58Z)
• FedLE: Federated Learning Client Selection with Lifespan Extension for Edge IoT Networks [34.63384007690422]
  Federated Learning(FL)は、IoT(Internet of Things)デバイスによってエッジで生成された巨大なデータによる予測モデリングのための分散およびプライバシ保護学習フレームワークである。 IoTでFLが広く採用されるのを防ぐ大きな課題のひとつは、IoTデバイスの広範な電源制約だ。 我々はエッジIoTネットワークの拡張を可能にするエネルギー効率の高いクライアント選択フレームワークであるFedLEを提案する。
  論文  参考訳（メタデータ） (2023-02-14T19:41:24Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。