論文の概要: HADFL: Heterogeneity-aware Decentralized Federated Learning Framework

• arxiv url: http://arxiv.org/abs/2111.08274v1
• Date: Tue, 16 Nov 2021 07:43:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-17 13:50:01.933895
• Title: HADFL: Heterogeneity-aware Decentralized Federated Learning Framework
• Title（参考訳）: HADFL: 異種性を考慮した分散学習フレームワーク
• Authors: Jing Cao, Zirui Lian, Weihong Liu, Zongwei Zhu, Cheng Ji
• Abstract要約: HADFLは、異種デバイス上での分散非同期トレーニングをサポートするフレームワークである。 これにより、中央サーバの通信圧力を軽減し、不均一なコンピューティングパワーを効率的に利用し、最大3.15倍のスピードアップを達成することができる。
• 参考スコア（独自算出の注目度）: 1.3780739674182867
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) supports training models on geographically distributed devices. However, traditional FL systems adopt a centralized synchronous strategy, putting high communication pressure and model generalization challenge. Existing optimizations on FL either fail to speedup training on heterogeneous devices or suffer from poor communication efficiency. In this paper, we propose HADFL, a framework that supports decentralized asynchronous training on heterogeneous devices. The devices train model locally with heterogeneity-aware local steps using local data. In each aggregation cycle, they are selected based on probability to perform model synchronization and aggregation. Compared with the traditional FL system, HADFL can relieve the central server's communication pressure, efficiently utilize heterogeneous computing power, and can achieve a maximum speedup of 3.15x than decentralized-FedAvg and 4.68x than Pytorch distributed training scheme, respectively, with almost no loss of convergence accuracy.
• Abstract（参考訳）: federated learning (fl) は地理的に分散したデバイス上でのトレーニングモデルをサポートする。 しかし、従来のflシステムは集中的な同期戦略を採用しており、高い通信圧力とモデルの一般化に挑戦している。 flの既存の最適化は、異種デバイスでのトレーニングのスピードアップに失敗したり、通信効率が悪かったりしている。 本稿では,異種デバイス上での分散非同期トレーニングを支援するフレームワークであるHADFLを提案する。 デバイスは、ローカルデータを使用して、異種対応のローカルステップでモデルをローカルにトレーニングする。 各アグリゲーションサイクルでは、確率に基づいてモデル同期とアグリゲーションを実行するために選択される。 従来のFLシステムと比較して、HADFLは中央サーバの通信圧力を軽減し、不均一なコンピューティングパワーを効率的に利用し、分散トレーニングスキームであるPytorchよりも最大3.15倍、最大4.68倍のスピードアップを達成でき、収束精度をほとんど失わない。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Event-Triggered Decentralized Federated Learning over Resource-Constrained Edge Devices [12.513477328344255]
  Federated Learning (FL)は分散機械学習(ML)のための技術である 従来のFLアルゴリズムでは、エッジで訓練されたモデルを中央サーバに定期的に送信して集約する。 我々は、デバイスが協調的なコンセンサス形成を通じてモデルアグリゲーションを行う完全分散FLのための新しい手法を開発した。
  論文  参考訳（メタデータ） (2022-11-23T00:04:05Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)
• AutoFL: Enabling Heterogeneity-Aware Energy Efficient Federated Learning [7.802192899666384]
  フェデレーション学習は、エッジに分散化されたモバイルデバイスのクラスタを配置して、共有機械学習モデルを協調的にトレーニングすることを可能にする。 この分散トレーニングアプローチは、プライバシー漏洩のリスクを軽減するための実用的なソリューションとして実証されている。 本稿では,最先端FL症例の時間対収束性とエネルギー効率を協調的に最適化する。
  論文  参考訳（メタデータ） (2021-07-16T23:41:26Z)
• Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
  フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T02:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。