論文の概要: Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning

• arxiv url: http://arxiv.org/abs/2107.11415v1
• Date: Fri, 23 Jul 2021 18:57:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 15:42:54.240864
• Title: Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning
• Title（参考訳）: 非同期フェデレーション学習のためのデバイススケジューリングと更新集約ポリシー
• Authors: Chung-Hsuan Hu, Zheng Chen, Erik G. Larsson
• Abstract要約: Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 72.78668894576515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a newly emerged decentralized machine learning (ML) framework that combines on-device local training with server-based model synchronization to train a centralized ML model over distributed nodes. In this paper, we propose an asynchronous FL framework with periodic aggregation to eliminate the straggler issue in FL systems. For the proposed model, we investigate several device scheduling and update aggregation policies and compare their performances when the devices have heterogeneous computation capabilities and training data distributions. From the simulation results, we conclude that the scheduling and aggregation design for asynchronous FL can be rather different from the synchronous case. For example, a norm-based significance-aware scheduling policy might not be efficient in an asynchronous FL setting, and an appropriate "age-aware" weighting design for the model aggregation can greatly improve the learning performance of such systems.
• Abstract（参考訳）: Federated Learning(FL)は、デバイス上でのローカルトレーニングとサーバベースのモデル同期を組み合わせて、分散ノード上で集中型MLモデルをトレーニングする、新たに登場した分散機械学習(ML)フレームワークである。 本稿では,flシステムにおけるストラグラー問題を排除するために,周期的アグリゲーションを伴う非同期flフレームワークを提案する。 提案モデルでは,複数のデバイススケジューリングとアグリゲーションポリシを調査し,デバイスがヘテロジニアスな計算能力とトレーニングデータ分布を持つ場合の性能を比較する。 シミュレーション結果から,非同期FLのスケジューリングとアグリゲーション設計は同期の場合とはかなり異なることが判明した。 例えば、ノルムベースの意味認識スケジューリングポリシーは非同期fl設定では効率的ではなく、モデル集約のための適切な「年齢認識」重み付け設計は、そのようなシステムの学習性能を大幅に向上させることができる。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning [31.966999085992505]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散トレーニングスキームである。 チャネルノイズ歪みの負の影響を緩和するために,PO-FL というオーバー・ザ・エア FL のための機器スケジューリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:04:59Z)
• Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
  分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。 まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。 我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
  論文  参考訳（メタデータ） (2023-05-22T21:39:38Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Efficient and Light-Weight Federated Learning via Asynchronous Distributed Dropout [22.584080337157168]
  非同期学習プロトコルは最近、特にフェデレートラーニング(FL)設定において注目を集めている。 分散環境でデバイスの不均一性を処理するためにドロップアウト正規化を利用する新しい非同期FLフレームワークである textttAsyncDrop を提案する。 全体として、textttAsyncDropは、最先端の非同期メソッドと比較してパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2022-10-28T13:00:29Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
  ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。 本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-07T20:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。