論文の概要: Analog-digital Scheduling for Federated Learning: A Communication-Efficient Approach

• arxiv url: http://arxiv.org/abs/2402.00318v1
• Date: Thu, 1 Feb 2024 04:05:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 16:37:38.117030
• Title: Analog-digital Scheduling for Federated Learning: A Communication-Efficient Approach
• Title（参考訳）: フェデレーション学習のためのアナログデジタルスケジューリング:コミュニケーション効率のよいアプローチ
• Authors: Muhammad Faraz Ul Abrar and Nicol\`o Michelusi
• Abstract要約: オーバー・ザ・エア(OTA)計算は、無線ネットワーク上で機械学習モデルをトレーニングするための通信効率のよいフェデレートラーニング(FL)パラダイムとして最近登場した。 しかし、その性能は、最悪のSNRを持つデバイスによって制限され、高速でノイズの多い更新をもたらす。 本稿では,ノイズ問題を緩和する新しいアナログデジタルADFL方式を提案する。 シミュレーションの結果、ADFLは、OTA方式のほとんどのデバイスをスケジューリングすると同時に、いくつかのデバイスでデジタルスキームを採用することで、一貫してOTA方式とデジタル専用スキームを上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over-the-air (OTA) computation has recently emerged as a communication-efficient Federated Learning (FL) paradigm to train machine learning models over wireless networks. However, its performance is limited by the device with the worst SNR, resulting in fast yet noisy updates. On the other hand, allocating orthogonal resource blocks (RB) to individual devices via digital channels mitigates the noise problem, at the cost of increased communication latency. In this paper, we address this discrepancy and present ADFL, a novel Analog-Digital FL scheme: in each round, the parameter server (PS) schedules each device to either upload its gradient via the analog OTA scheme or transmit its quantized gradient over an orthogonal RB using the ``digital" scheme. Focusing on a single FL round, we cast the optimal scheduling problem as the minimization of the mean squared error (MSE) on the estimated global gradient at the PS, subject to a delay constraint, yielding the optimal device scheduling configuration and quantization bits for the digital devices. Our simulation results show that ADFL, by scheduling most of the devices in the OTA scheme while also occasionally employing the digital scheme for a few devices, consistently outperforms OTA-only and digital-only schemes, in both i.i.d. and non-i.i.d. settings.
• Abstract（参考訳）: ota(over-the-air)計算は、ワイヤレスネットワーク上で機械学習モデルをトレーニングするための通信効率の高い連合学習(fl)パラダイムとして最近登場した。 しかし、その性能は、最悪のSNRを持つデバイスによって制限され、高速でノイズの多い更新をもたらす。 一方、直交リソースブロック(RB)をデジタルチャネルを介して個々のデバイスに割り当てることにより、通信遅延の増加によるノイズ問題を軽減できる。 本稿では,新しいアナログデジタルfl方式であるadflについて述べる。各ラウンドにおいて,パラメータサーバ(ps)は,各デバイスに,その勾配をアナログota方式でアップロードするか,あるいは ‘`digital'方式を用いて直交rb上に量子化勾配を送信するようにスケジュールする。 単一flラウンドに着目し,psにおける推定大域的勾配に対する平均二乗誤差 (mse) の最小化,遅延制約の影響,ディジタルデバイスの最適スケジューリング構成と量子化ビットの生み出す最適スケジューリング問題を提案した。 シミュレーションの結果、ADFLは、OTA方式のほとんどのデバイスをスケジューリングすると同時に、OTA方式とデジタル方式の両方において、OTA方式とデジタルのみ方式を一貫して上回っていることがわかった。

関連論文リスト

• Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
  産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。 本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。 提案手法の有効性を数値解析により検証した。
  論文  参考訳（メタデータ） (2024-11-04T17:48:02Z)
• Digital versus Analog Transmissions for Federated Learning over Wireless Networks [91.20926827568053]
  資源制約付きネットワーク上での無線連合学習(FL)における2つの効果的な通信方式を比較した。 まず,デジタルとアナログの両方の伝送方式と,実用的制約下での統一的かつ公正な比較手法について検討する。 無線ネットワークにおけるFL性能評価のために,様々な不完全条件下での普遍収束解析を確立する。
  論文  参考訳（メタデータ） (2024-02-15T01:50:46Z)
• Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning [31.966999085992505]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散トレーニングスキームである。 チャネルノイズ歪みの負の影響を緩和するために,PO-FL というオーバー・ザ・エア FL のための機器スケジューリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:04:59Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• Digital Over-the-Air Federated Learning in Multi-Antenna Systems [30.137208705209627]
  デジタル変調とオーバー・ザ・エア計算(AirComp)を用いた現実的な無線通信システム上でのフェデレーション学習(FL)の性能最適化について検討する。 本稿では,デジタル変調とAirCompを組み合わせたFedAvg(FedAvg)アルゴリズムを提案する。 人工ニューラルネットワーク(ANN)は、すべてのデバイスの局所FLモデルを推定し、将来のモデル伝送のためにPSのビーム形成行列を調整するために使用される。
  論文  参考訳（メタデータ） (2023-02-04T07:26:06Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Two-Timescale End-to-End Learning for Channel Acquisition and Hybrid Precoding [94.40747235081466]
  本研究では,ミリ波(mmWave)大規模マルチインプット多重出力(MIMO)システムのためのエンドツーエンドの深層学習に基づくジョイントトランスシーバ設計アルゴリズムを提案する。 我々は受信したパイロットを受信機でフィードバックビットにマッピングし、さらに送信機でハイブリッドプリコーダにフィードバックビットをマッピングするDNNアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2021-10-22T20:49:02Z)
• Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
  Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。 本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T08:19:54Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)
• Joint Device Scheduling and Resource Allocation for Latency Constrained Wireless Federated Learning [26.813145949399427]
  FL(Federated Learning)では、デバイスがローカルモデルの更新を無線チャネル経由でアップロードする。 モデル精度を最大化するために,共同装置スケジューリングと資源配分ポリシーを提案する。 実験の結果,提案手法は最先端のスケジューリング方式よりも優れていた。
  論文  参考訳（メタデータ） (2020-07-14T16:46:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。