論文の概要: AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices

• arxiv url: http://arxiv.org/abs/2312.10935v1
• Date: Mon, 18 Dec 2023 05:18:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 21:15:01.700371
• Title: AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices
• Title（参考訳）: AEDFL: 異種デバイスを用いた効率的な非同期分散フェデレーション学習
• Authors: Ji Liu and Tianshi Che and Yang Zhou and Ruoming Jin and Huaiyu Dai and Dejing Dou and Patrick Valduriez
• Abstract要約: 異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
• 参考スコア（独自算出の注目度）: 61.66943750584406
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated Learning (FL) has achieved significant achievements recently, enabling collaborative model training on distributed data over edge devices. Iterative gradient or model exchanges between devices and the centralized server in the standard FL paradigm suffer from severe efficiency bottlenecks on the server. While enabling collaborative training without a central server, existing decentralized FL approaches either focus on the synchronous mechanism that deteriorates FL convergence or ignore device staleness with an asynchronous mechanism, resulting in inferior FL accuracy. In this paper, we propose an Asynchronous Efficient Decentralized FL framework, i.e., AEDFL, in heterogeneous environments with three unique contributions. First, we propose an asynchronous FL system model with an efficient model aggregation method for improving the FL convergence. Second, we propose a dynamic staleness-aware model update approach to achieve superior accuracy. Third, we propose an adaptive sparse training method to reduce communication and computation costs without significant accuracy degradation. Extensive experimentation on four public datasets and four models demonstrates the strength of AEDFL in terms of accuracy (up to 16.3% higher), efficiency (up to 92.9% faster), and computation costs (up to 42.3% lower).
• Abstract（参考訳）: フェデレーション学習(fl)は、エッジデバイス上の分散データ上での協調モデルトレーニングを可能にすることで、近年大きな成果を上げている。 標準FLパラダイムにおけるデバイスと集中型サーバ間の反復的な勾配やモデル交換は、サーバ上で深刻な効率上のボトルネックに悩まされる。 集中サーバなしで協調トレーニングを可能にする一方で、既存の分散FLは、FL収束を低下させる同期メカニズムに焦点を当てるか、非同期メカニズムでデバイスの安定化を無視し、FL精度が劣る。 本稿では,3つのユニークなコントリビューションを持つ異種環境における非同期効率的な分散FLフレームワークであるAEDFLを提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化モデル更新手法を提案する。 第3に,コミュニケーションコストと計算コストを低減し,精度を低下させることなく適応的スパーストレーニング手法を提案する。 4つの公開データセットと4つのモデルに対する大規模な実験は、精度(最大16.3%)、効率(最大92.9%)、計算コスト(最大42.3%)の点でAEDFLの強さを示している。

関連論文リスト

• Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
  フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-11T02:59:11Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Momentum Approximation in Asynchronous Private Federated Learning [26.57367597853813]
  運動量近似は、運動量を持つ既存のFLと比較すると、収束速度が1.15のテクスム−-4タイムで達成できる。 モメンタム近似は、小さな通信とストレージコストで、実運用FLシステムに容易に統合できる。
  論文  参考訳（メタデータ） (2024-02-14T15:35:53Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server [64.94942635929284]
  フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。 本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。 提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2022-04-25T10:00:00Z)
• Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
  フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。 本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。 提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
  論文  参考訳（メタデータ） (2021-12-27T22:30:15Z)
• Blockchain-enabled Server-less Federated Learning [5.065631761462706]
  我々は、(BC)技術によって強化された非同期サーバーレスフェデレートラーニングソリューションに焦点を当てる。 主に採用されているFLアプローチとは対照的に、クライアントがローカル更新を送信する際にモデルアグリゲーションを行う非同期手法を提唱する。
  論文  参考訳（メタデータ） (2021-12-15T07:41:23Z)
• HADFL: Heterogeneity-aware Decentralized Federated Learning Framework [1.3780739674182867]
  HADFLは、異種デバイス上での分散非同期トレーニングをサポートするフレームワークである。 これにより、中央サーバの通信圧力を軽減し、不均一なコンピューティングパワーを効率的に利用し、最大3.15倍のスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2021-11-16T07:43:18Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)
• Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
  フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T02:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。