Fugu-MT 論文翻訳(概要): Resource Utilization Optimized Federated Learning

論文の概要: Resource Utilization Optimized Federated Learning

arxiv url: http://arxiv.org/abs/2504.13850v1
Date: Mon, 10 Mar 2025 20:23:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-22 23:32:14.362899
Title: Resource Utilization Optimized Federated Learning
Title（参考訳）: 資源利用を最適化したフェデレーションラーニング
Authors: Zihan Zhang, Leon Wong, Blesson Varghese,
Abstract要約: フェデレートラーニング(FL)システムは、サーバと複数のデバイスにまたがる分散機械学習を容易にする。本稿では,資源最適化FLシステムであるFedOptimaを紹介する。
参考スコア（独自算出の注目度）: 19.564340315424413
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) systems facilitate distributed machine learning across a server and multiple devices. However, FL systems have low resource utilization limiting their practical use in the real world. This inefficiency primarily arises from two types of idle time: (i) task dependency between the server and devices, and (ii) stragglers among heterogeneous devices. This paper introduces FedOptima, a resource-optimized FL system designed to simultaneously minimize both types of idle time; existing systems do not eliminate or reduce both at the same time. FedOptima offloads the training of certain layers of a neural network from a device to server using three innovations. First, devices operate independently of each other using asynchronous aggregation to eliminate straggler effects, and independently of the server by utilizing auxiliary networks to minimize idle time caused by task dependency. Second, the server performs centralized training using a task scheduler that ensures balanced contributions from all devices, improving model accuracy. Third, an efficient memory management mechanism on the server increases scalability of the number of participating devices. Four state-of-the-art offloading-based and asynchronous FL methods are chosen as baselines. Experimental results show that compared to the best results of the baselines on convolutional neural networks and transformers on multiple lab-based testbeds, FedOptima (i) achieves higher or comparable accuracy, (ii) accelerates training by 1.9x to 21.8x, (iii) reduces server and device idle time by up to 93.9% and 81.8%, respectively, and (iv) increases throughput by 1.1x to 2.0x.
Abstract（参考訳）: フェデレーション・ラーニング(FL)システムは、サーバと複数のデバイスにまたがる分散機械学習を容易にする。しかし,FLシステムは実世界での利用を制限した資源利用率の低いシステムである。この非効率性は主に2種類のアイドル時間から生じます。 i) サーバとデバイス間のタスク依存性、及び (二)異種装置間のストラグラー本稿では,資源最適化FLシステムであるFedOptimaについて紹介する。 FedOptimaは、3つのイノベーションを使用して、デバイスからサーバへのニューラルネットワークの特定のレイヤのトレーニングをオフロードする。まず、非同期アグリゲーションを用いて互いに独立して動作し、また、タスク依存によるアイドル時間を最小化するために補助ネットワークを利用することにより、サーバとは独立して動作する。第2に、サーバはタスクスケジューラを使用して集中的なトレーニングを行い、すべてのデバイスからのバランスの取れたコントリビューションを保証し、モデルの精度を向上させる。第3に、サーバ上の効率的なメモリ管理機構により、参加するデバイス数のスケーラビリティが向上する。 4つの最先端のオフロードベースおよび非同期FLメソッドがベースラインとして選択される。実験結果から、畳み込みニューラルネットワークとトランスフォーマーのベースラインの最良の結果と比較して、複数の実験室ベースのテストベッドであるFedOptimaが良い結果を示した。 i)より高い精度または同等の精度を達成する (ii)訓練を1.9倍から21.8倍に加速する三サーバのアイドル時間を最大93.9%、装置のアイドル時間を81.8%削減する。 (4)スループットを1.1倍から2.0倍に向上させる。

関連論文リスト

FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文参考訳（メタデータ） (2024-10-16T16:13:19Z)
Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
論文参考訳（メタデータ） (2024-08-11T02:59:11Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文参考訳（メタデータ） (2023-12-23T07:47:07Z)
AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文参考訳（メタデータ） (2023-12-18T05:18:17Z)
PiPar: Pipeline Parallelism for Collaborative Machine Learning [16.131285496487678]
協調機械学習(CML)技術は、複数のモバイルデバイスとサーバにまたがるディープラーニングモデルをトレーニングするために提案されている。 CML技術は、デバイスからの生データをサーバと共有するのではなく、各デバイスでトレーニングされたローカルモデルとしてプライバシ保存される。低資源利用の主要因として,シーケンシャルな計算と通信により,サーバやデバイス上でのアイドリングリソースを同定する。
論文参考訳（メタデータ） (2022-12-01T20:51:47Z)
FedLesScan: Mitigating Stragglers in Serverless Federated Learning [0.7388859384645262]
Federated Learning(FL)は、分散クライアント間で共有グローバルモデルのトレーニングを可能にする機械学習パラダイムである。我々は、サーバーレスFLに適したクラスタリングベースの新しい半非同期トレーニング戦略であるFedLesScanを提案する。 FedLesScanはトレーニング時間とコストをそれぞれ平均8%と20%削減し、クライアントの有効更新率は平均17.75%向上した。
論文参考訳（メタデータ） (2022-11-10T18:17:41Z)
DISTREAL: Distributed Resource-Aware Learning in Heterogeneous Systems [2.1506382989223782]
計算資源の不均一性,制限,時間変化のあるデバイス上でのニューラルネットワーク(NN)の分散トレーニングの問題について検討する。本稿では,適応型,リソース対応,オンデバイス学習機構であるDISTREALを提案する。
論文参考訳（メタデータ） (2021-12-16T10:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。