Fugu-MT 論文翻訳(概要): FedEx: Expediting Federated Learning over Heterogeneous Mobile Devices by Overlapping and Participant Selection

論文の概要: FedEx: Expediting Federated Learning over Heterogeneous Mobile Devices by Overlapping and Participant Selection

arxiv url: http://arxiv.org/abs/2407.00943v2
Date: Tue, 2 Jul 2024 06:16:36 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 18:53:35.274414
Title: FedEx: Expediting Federated Learning over Heterogeneous Mobile Devices by Overlapping and Participant Selection
Title（参考訳）: FedEx: 重複および参加選択による不均一なモバイルデバイス上でのフェデレーション学習の迅速化
Authors: Jiaxiang Geng, Boyu Li, Xiaoqi Qin, Yixuan Li, Liang Li, Yanzhao Hou, Miao Pan,
Abstract要約: 我々は、モバイルデバイス上でのFLトレーニングをアンダーライン化するための、新しいアンダーライン学習手法であるFedExを提案する。我々は、FedExが、メモリコストに制限のある不均一なモバイルデバイス上でのFLトレーニングのレイテンシを大幅に削減することを示した。
参考スコア（独自算出の注目度）: 24.435145856119856
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training latency is critical for the success of numerous intrigued applications ignited by federated learning (FL) over heterogeneous mobile devices. By revolutionarily overlapping local gradient transmission with continuous local computing, FL can remarkably reduce its training latency over homogeneous clients, yet encounter severe model staleness, model drifts, memory cost and straggler issues in heterogeneous environments. To unleash the full potential of overlapping, we propose, FedEx, a novel \underline{fed}erated learning approach to \underline{ex}pedite FL training over mobile devices under data, computing and wireless heterogeneity. FedEx redefines the overlapping procedure with staleness ceilings to constrain memory consumption and make overlapping compatible with participation selection (PS) designs. Then, FedEx characterizes the PS utility function by considering the latency reduced by overlapping, and provides a holistic PS solution to address the straggler issue. FedEx also introduces a simple but effective metric to trigger overlapping, in order to avoid model drifts. Experimental results show that compared with its peer designs, FedEx demonstrates substantial reductions in FL training latency over heterogeneous mobile devices with limited memory cost.
Abstract（参考訳）: トレーニングレイテンシは、異種モバイルデバイス上でのフェデレーション学習(FL)によって起動される多くの興味深いアプリケーションの成功に不可欠である。局所勾配伝送と連続的な局所計算を革命的に重複させることで、FLは均質なクライアントよりもトレーニングの遅延を著しく低減できるが、重いモデル不安定性、モデルドリフト、メモリコスト、異種環境におけるストラグラー問題に遭遇する。重なり合う可能性を完全に解き放つために、FedExは、データ、計算、および無線異種性の下でモバイルデバイス上での‘underline{ex}pedite FL’トレーニングのための、新しい学習手法である。 FedExは重なり合う手順を再定義し、メモリ消費を制限し、参加選択(PS)設計と重なり合うようにしている。そこでFedExは、重複による遅延低減を考慮したPSユーティリティ機能を特徴付け、トラグラー問題に対処するための総合PSソリューションを提供する。 FedExはまた、モデルドリフトを避けるために、オーバーラップをトリガーする単純だが効果的なメトリックも導入している。実験結果から、FedExはピア設計と比較して、メモリコストが制限された異種モバイルデバイス上でのFLトレーニングのレイテンシを大幅に削減することを示した。

関連論文リスト

FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
論文参考訳（メタデータ） (2024-03-14T22:29:59Z)
Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文参考訳（メタデータ） (2023-08-04T04:18:01Z)
Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文参考訳（メタデータ） (2023-05-15T22:04:49Z)
FedCos: A Scene-adaptive Federated Optimization Enhancement for Performance Improvement [11.687451505965655]
我々は,コサイン類似性ペナルティを導入することにより,局所モデルの方向性の不整合を低減するFedCosを提案する。我々は、FedCosがよく知られたベースラインより優れており、様々なFLシーンでそれらを強化できることを示す。 FedCosの助けを借りて、複数のFLメソッドは、同等の性能のモデルを得るために、以前よりもはるかに少ない通信ラウンドを必要とする。
論文参考訳（メタデータ） (2022-04-07T02:59:54Z)
Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
論文参考訳（メタデータ） (2022-03-25T09:06:42Z)
Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文参考訳（メタデータ） (2021-12-18T02:26:38Z)
Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文参考訳（メタデータ） (2021-12-05T11:17:17Z)
Spatio-Temporal Federated Learning for Massive Wireless Edge Networks [23.389249751372393]
エッジサーバと多数のモバイルデバイス(クライアント)は、モバイルデバイスが収集した膨大なデータをエッジサーバに転送することなく、グローバルモデルを共同で学習する。提案手法は,STFLに参加する予定の様々なモバイルデバイスからの学習更新の空間的および時間的相関を利用している。収束性能を用いてSTFLの学習能力を研究するために,STFLの分析フレームワークを提案する。
論文参考訳（メタデータ） (2021-10-27T16:46:45Z)
Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices [40.69663094185572]
フェデレートラーニング(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。実用FLに直面する大きな課題の1つは、リソース制約されたデバイスが、ディープニューラルネットワークモデルを更新する計算集約的なタスクに苦しむことである。この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
論文参考訳（メタデータ） (2021-09-30T16:52:13Z)
Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文参考訳（メタデータ） (2021-08-31T08:19:54Z)
Quantized Federated Learning under Transmission Delay and Outage Constraints [30.892724364965005]
フェデレートラーニング(Federated Learning)は、無線エッジ内の巨大なモバイルデバイスと協調して機械学習モデルをトレーニングする、実行可能な分散学習パラダイムである。無線リソースが限られている実用的なシステムでは、多数のモデルパラメータの送信は量子化エラー(QE)と送信停止(TO)に必然的に悩まされる。我々は,無線リソースと量子化ビットをクライアント間で共同で割り当て,QEを最小化するとともに,クライアントがTO確率を持つようにする,堅牢なFLスキームFedTOEを提案する。
論文参考訳（メタデータ） (2021-06-17T11:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。