論文の概要: Over-the-Air Federated Learning with Retransmissions (Extended Version)

• arxiv url: http://arxiv.org/abs/2111.10267v1
• Date: Fri, 19 Nov 2021 15:17:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-22 18:41:28.940506
• Title: Over-the-Air Federated Learning with Retransmissions (Extended Version)
• Title（参考訳）: 再送信によるオーバーザ・エアフェデレーション学習(拡張版)
• Authors: Henrik Hellstr\"om, Viktoria Fodor, Carlo Fischione
• Abstract要約: 資源制約のある無線ネットワーク上でのフェデレート学習(FL)の収束に対する推定誤差の影響について検討する。 資源制約のある無線ネットワーク上でFL収束を改善する手法として再送信を提案する。
• 参考スコア（独自算出の注目度）: 21.37147806100865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivated by increasing computational capabilities of wireless devices, as well as unprecedented levels of user- and device-generated data, new distributed machine learning (ML) methods have emerged. In the wireless community, Federated Learning (FL) is of particular interest due to its communication efficiency and its ability to deal with the problem of non-IID data. FL training can be accelerated by a wireless communication method called Over-the-Air Computation (AirComp) which harnesses the interference of simultaneous uplink transmissions to efficiently aggregate model updates. However, since AirComp utilizes analog communication, it introduces inevitable estimation errors. In this paper, we study the impact of such estimation errors on the convergence of FL and propose retransmissions as a method to improve FL convergence over resource-constrained wireless networks. First, we derive the optimal AirComp power control scheme with retransmissions over static channels. Then, we investigate the performance of Over-the-Air FL with retransmissions and find two upper bounds on the FL loss function. Finally, we propose a heuristic for selecting the optimal number of retransmissions, which can be calculated before training the ML model. Numerical results demonstrate that the introduction of retransmissions can lead to improved ML performance, without incurring extra costs in terms of communication or computation. Additionally, we provide simulation results on our heuristic which indicate that it can correctly identify the optimal number of retransmissions for different wireless network setups and machine learning problems.
• Abstract（参考訳）: ワイヤレスデバイスの計算能力の向上と、ユーザとデバイスが生成するデータの前例のないレベルの増加により、新しい分散機械学習(ML)メソッドが出現した。 無線コミュニティでは、通信効率と非iidデータの問題に対処する能力から、連合学習(federated learning:fl)が特に注目されている。 flトレーニングは、同時アップリンク送信の干渉を利用して効率的にモデル更新を集約するover-the-air computation(aircomp)と呼ばれる無線通信方法によって促進される。 しかし,AirCompはアナログ通信を利用するため,避けられない推定誤差が生じる。 本稿では,この推定誤差がFLの収束に与える影響について検討し,資源制約された無線ネットワーク上でのFL収束を改善する手法として再送信を提案する。 まず,静的チャネル上の再送信を伴う最適AirComp電力制御方式を導出する。 次に,再送によるオーバー・ザ・エアFLの性能を調査し,FL損失関数上の2つの上限を求める。 最後に,MLモデルの学習前に計算可能な最適再送信数を選択するためのヒューリスティックを提案する。 数値計算の結果,再送信の導入は,通信や計算の面で余分なコストを伴わずに,ML性能の向上につながることが示された。 さらに,無線ネットワークのセットアップや機械学習の問題に対して,最適な再送回数を正しく特定できることを示すヒューリスティックなシミュレーション結果を提供する。

関連論文リスト

• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning [31.966999085992505]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散トレーニングスキームである。 チャネルノイズ歪みの負の影響を緩和するために,PO-FL というオーバー・ザ・エア FL のための機器スケジューリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:04:59Z)
• Digital Over-the-Air Federated Learning in Multi-Antenna Systems [30.137208705209627]
  デジタル変調とオーバー・ザ・エア計算(AirComp)を用いた現実的な無線通信システム上でのフェデレーション学習(FL)の性能最適化について検討する。 本稿では,デジタル変調とAirCompを組み合わせたFedAvg(FedAvg)アルゴリズムを提案する。 人工ニューラルネットワーク(ANN)は、すべてのデバイスの局所FLモデルを推定し、将来のモデル伝送のためにPSのビーム形成行列を調整するために使用される。
  論文  参考訳（メタデータ） (2023-02-04T07:26:06Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• CFLIT: Coexisting Federated Learning and Information Transfer [18.30671838758503]
  本研究では,モバイルエッジネットワークにおける無線放送と従来型情報伝達(IT)の共存性について検討する。 FLとITデバイスがOFDMシステムで無線スペクトルを共有するCFLIT(Commanded Learning and Information Transfer)通信フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-26T13:17:28Z)
• Resource Allocation for Compression-aided Federated Learning with High Distortion Rate [3.7530276852356645]
  我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。 参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
  論文  参考訳（メタデータ） (2022-06-02T05:00:37Z)
• User Scheduling for Federated Learning Through Over-the-Air Computation [22.853678584121862]
  FL(Federated Learning)と呼ばれる新しい機械学習技術は、エッジデバイスにおけるデータの保存と、学習プロセスにおけるMLモデルパラメータの交換のみを目的としている。 FLは通信ニーズを減らすだけでなく、地域のプライバシーを守るのにも役立ちます。 AirCompは、アナログ変調を用いて複数のデバイスが同時にデータを送信できるようにすることで、データを送信しながら計算することができる。
  論文  参考訳（メタデータ） (2021-08-05T23:58:15Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)
• Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
  フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。 本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
  論文  参考訳（メタデータ） (2020-03-04T14:06:51Z)
• Federated Learning in the Sky: Joint Power Allocation and Scheduling with UAV Swarms [98.78553146823829]
  無人航空機(UAV)は様々なタスクを実行するために機械学習(ML)を利用する必要がある。 本稿では,UAVスワム内に分散学習(FL)アルゴリズムを実装するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T14:04:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。