論文の概要: Time-sensitive Learning for Heterogeneous Federated Edge Intelligence
- arxiv url: http://arxiv.org/abs/2301.10977v1
- Date: Thu, 26 Jan 2023 08:13:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 14:11:26.542885
- Title: Time-sensitive Learning for Heterogeneous Federated Edge Intelligence
- Title（参考訳）: 不均一フェデレートエッジインテリジェンスのための時間知覚学習
- Authors: Yong Xiao, Xiaohan Zhang, Guangming Shi, Marwan Krunz, Diep N. Nguyen,
Dinh Thai Hoang
- Abstract要約: フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 52.83633954857744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-time machine learning has recently attracted significant interest due to
its potential to support instantaneous learning, adaptation, and decision
making in a wide range of application domains, including self-driving vehicles,
intelligent transportation, and industry automation. We investigate real-time
ML in a federated edge intelligence (FEI) system, an edge computing system that
implements federated learning (FL) solutions based on data samples collected
and uploaded from decentralized data networks. FEI systems often exhibit
heterogenous communication and computational resource distribution, as well as
non-i.i.d. data samples, resulting in long model training time and inefficient
resource utilization. Motivated by this fact, we propose a time-sensitive
federated learning (TS-FL) framework to minimize the overall run-time for
collaboratively training a shared ML model. Training acceleration solutions for
both TS-FL with synchronous coordination (TS-FL-SC) and asynchronous
coordination (TS-FL-ASC) are investigated. To address straggler effect in
TS-FL-SC, we develop an analytical solution to characterize the impact of
selecting different subsets of edge servers on the overall model training time.
A server dropping-based solution is proposed to allow slow-performance edge
servers to be removed from participating in model training if their impact on
the resulting model accuracy is limited. A joint optimization algorithm is
proposed to minimize the overall time consumption of model training by
selecting participating edge servers, local epoch number. We develop an
analytical expression to characterize the impact of staleness effect of
asynchronous coordination and straggler effect of FL on the time consumption of
TS-FL-ASC. Experimental results show that TS-FL-SC and TS-FL-ASC can provide up
to 63% and 28% of reduction, in the overall model training time, respectively.
- Abstract（参考訳）: リアルタイム機械学習は、自動運転車、インテリジェントトランスポート、産業自動化など、幅広いアプリケーション領域における即時学習、適応、意思決定をサポートする可能性から、最近大きな関心を集めている。
本稿では、分散データネットワークから収集・アップロードされたデータに基づいて、フェデレーション学習(FL)ソリューションを実装するエッジコンピューティングシステムであるFEIシステムにおけるリアルタイムMLについて検討する。
FEIシステムはしばしば異種通信と計算資源の分布、すなわち非単位のデータサンプルを示し、長い訓練時間と非効率な資源利用をもたらす。
この事実に触発され,共有MLモデルを協調訓練するための全体の実行時間を最小化するために,時間に敏感なフェデレーション学習(TS-FL)フレームワークを提案する。
同期協調型TS-FL(TS-FL-SC)と非同期協調型TS-FL-ASC(TS-FL-ASC)の訓練促進ソリューションについて検討した。
TS-FL-SCにおけるストラグラー効果に対処するために,エッジサーバの異なるサブセットがモデルトレーニング時間全体に与える影響を特徴付ける解析解を開発した。
モデル精度への影響が限定された場合,サーバドロップベースのソリューションにより,性能の遅いエッジサーバをモデルトレーニングへの参加から外すことができる。
参加するエッジサーバ,局所エポック数を選択することで,モデルトレーニング全体の時間消費を最小限に抑えるための統合最適化アルゴリズムを提案する。
本研究では, TS-FL-ASC の時間消費に及ぼす FL の非同期調整およびストラグラー効果の影響を特徴付ける解析式を開発した。
実験の結果, TS-FL-SCとTS-FL-ASCは, モデルトレーニング時間全体で最大63%, 28%の削減が可能であった。
関連論文リスト
- AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。
本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
論文 参考訳（メタデータ） (2024-03-19T19:05:24Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。
クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。
本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
論文 参考訳（メタデータ） (2023-07-29T02:35:37Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - Scheduling and Aggregation Design for Asynchronous Federated Learning
over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。
FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。
年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2022-12-14T17:33:01Z) - Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated
Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。
ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文 参考訳（メタデータ） (2022-09-02T10:29:56Z) - Spatio-Temporal Federated Learning for Massive Wireless Edge Networks [23.389249751372393]
エッジサーバと多数のモバイルデバイス(クライアント)は、モバイルデバイスが収集した膨大なデータをエッジサーバに転送することなく、グローバルモデルを共同で学習する。
提案手法は,STFLに参加する予定の様々なモバイルデバイスからの学習更新の空間的および時間的相関を利用している。
収束性能を用いてSTFLの学習能力を研究するために,STFLの分析フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-27T16:46:45Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。