論文の概要: FedAT: A High-Performance and Communication-Efficient Federated Learning
System with Asynchronous Tiers
- arxiv url: http://arxiv.org/abs/2010.05958v2
- Date: Sun, 29 Aug 2021 02:45:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 08:18:46.552143
- Title: FedAT: A High-Performance and Communication-Efficient Federated Learning
System with Asynchronous Tiers
- Title（参考訳）: fedat: 非同期層を持つ高性能で通信効率のよいフェデレーション学習システム
- Authors: Zheng Chai, Yujing Chen, Ali Anwar, Liang Zhao, Yue Cheng, Huzefa
Rangwala
- Abstract要約: 非i.d.データに基づく非同期タイアを用いた新しいフェデレーション学習手法であるFederated Learning法であるFedATを提案する。
FedATは、収束速度とテスト精度を改善したストラグラー効果を最小化する。
その結果、FedATは予測性能を最大21.09%改善し、最先端FL法と比較して通信コストを最大8.5倍削減した。
- 参考スコア（独自算出の注目度）: 22.59875034596411
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) involves training a model over massive distributed
devices, while keeping the training data localized. This form of collaborative
learning exposes new tradeoffs among model convergence speed, model accuracy,
balance across clients, and communication cost, with new challenges including:
(1) straggler problem, where the clients lag due to data or (computing and
network) resource heterogeneity, and (2) communication bottleneck, where a
large number of clients communicate their local updates to a central server and
bottleneck the server. Many existing FL methods focus on optimizing along only
one dimension of the tradeoff space. Existing solutions use asynchronous model
updating or tiering-based synchronous mechanisms to tackle the straggler
problem. However, the asynchronous methods can easily create a network
communication bottleneck, while tiering may introduce biases as tiering favors
faster tiers with shorter response latencies. To address these issues, we
present FedAT, a novel Federated learning method with Asynchronous Tiers under
Non-i.i.d. data. FedAT synergistically combines synchronous intra-tier training
and asynchronous cross-tier training. By bridging the synchronous and
asynchronous training through tiering, FedAT minimizes the straggler effect
with improved convergence speed and test accuracy. FedAT uses a
straggler-aware, weighted aggregation heuristic to steer and balance the
training for further accuracy improvement. FedAT compresses the uplink and
downlink communications using an efficient, polyline-encoding-based compression
algorithm, therefore minimizing the communication cost. Results show that FedAT
improves the prediction performance by up to 21.09%, and reduces the
communication cost by up to 8.5x, compared to state-of-the-art FL methods.
- Abstract（参考訳）: federated learning(fl)は、トレーニングデータをローカライズしながら、大規模な分散デバイス上でモデルをトレーニングする。
このコラボレーティブラーニングの形式は、モデル収束速度、モデル精度、クライアント間のバランス、通信コストの新たなトレードオフを露呈する。(1)ストラグラー問題、データや(コンピューティングとネットワーク)リソースの不均一性によってクライアントが遅延する問題、2)通信ボトルネック、そして、多数のクライアントがローカルな更新を中央サーバに伝達し、サーバのボトルネックなど、新たな課題がある。
既存のFL法の多くは、トレードオフ空間の1次元だけを最適化することに集中している。
既存のソリューションでは、トラグラー問題に対処するために、非同期モデル更新または階層化ベースの同期メカニズムを使用している。
しかし、非同期メソッドはネットワーク通信のボトルネックを簡単に生成できるが、階層化はより短い応答遅延を持つより高速な階層を好むため、バイアスをもたらす可能性がある。
これらの問題に対処するため,非i.d.データに基づく非同期タイアを用いた新しいフェデレーション学習手法であるFedATを提案する。
FedATは同期層内トレーニングと非同期層間トレーニングを相乗的に組み合わせている。
階層化を通じて同期および非同期トレーニングをブリッジすることにより、FedATは収束速度とテスト精度を改善したストラグラー効果を最小化する。
FedATは、ストラグラー対応で重み付けされた集約ヒューリスティックを使用して、さらなる精度向上のためにトレーニングを操縦しバランスをとる。
FedATは、効率的なポリリンエンコーディングに基づく圧縮アルゴリズムを用いてアップリンクとダウンリンクの通信を圧縮し、通信コストを最小化する。
その結果、FedATは予測性能を最大21.09%改善し、最先端FL法と比較して通信コストを最大8.5倍削減した。
関連論文リスト
- FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。
FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。
本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
論文 参考訳（メタデータ） (2024-06-01T05:14:20Z) - Communication-Efficient Distributed Deep Learning via Federated Dynamic Averaging [1.4748100900619232]
Federated Dynamic Averaging (FDA)は通信効率の良いDDL戦略である。
FDAは従来のアルゴリズムと最先端のアルゴリズムと比較して、通信コストを桁違いに削減している。
論文 参考訳（メタデータ） (2024-05-31T16:34:11Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳（メタデータ） (2023-12-18T05:18:17Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - OFedQIT: Communication-Efficient Online Federated Learning via
Quantization and Intermittent Transmission [7.6058140480517356]
オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。
本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。
分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
論文 参考訳（メタデータ） (2022-05-13T07:46:43Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。