論文の概要: Convergence of Federated Learning over a Noisy Downlink
- arxiv url: http://arxiv.org/abs/2008.11141v1
- Date: Tue, 25 Aug 2020 16:15:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 03:44:29.148531
- Title: Convergence of Federated Learning over a Noisy Downlink
- Title（参考訳）: ノイズダウンリンクを用いた連合学習の収束
- Authors: Mohammad Mohammadi Amiri, Deniz Gunduz, Sanjeev R. Kulkarni, H.
Vincent Poor
- Abstract要約: 我々は,遠隔パラメータサーバの助けを借りて,ローカルデータセットを利用してグローバルモデルを協調訓練するフェデレーション学習について検討した。
このフレームワークは、PSからデバイスへのダウンリンク送信と、デバイスからPSへのアップリンク送信を必要とする。
本研究の目的は、ダウンリンクとアップリンクの両方における帯域幅制限された共有無線媒体がFLの性能に与える影響を検討することである。
- 参考スコア（独自算出の注目度）: 84.55126371346452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study federated learning (FL), where power-limited wireless devices
utilize their local datasets to collaboratively train a global model with the
help of a remote parameter server (PS). The PS has access to the global model
and shares it with the devices for local training, and the devices return the
result of their local updates to the PS to update the global model. This
framework requires downlink transmission from the PS to the devices and uplink
transmission from the devices to the PS. The goal of this study is to
investigate the impact of the bandwidth-limited shared wireless medium in both
the downlink and uplink on the performance of FL with a focus on the downlink.
To this end, the downlink and uplink channels are modeled as fading broadcast
and multiple access channels, respectively, both with limited bandwidth. For
downlink transmission, we first introduce a digital approach, where a
quantization technique is employed at the PS to broadcast the global model
update at a common rate such that all the devices can decode it. Next, we
propose analog downlink transmission, where the global model is broadcast by
the PS in an uncoded manner. We consider analog transmission over the uplink in
both cases. We further analyze the convergence behavior of the proposed analog
approach assuming that the uplink transmission is error-free. Numerical
experiments show that the analog downlink approach provides significant
improvement over the digital one, despite a significantly lower transmit power
at the PS. The experimental results corroborate the convergence results, and
show that a smaller number of local iterations should be used when the data
distribution is more biased, and also when the devices have a better estimate
of the global model in the analog downlink approach.
- Abstract（参考訳）: 本研究では,電力制限された無線デバイスがローカルデータセットを利用して,遠隔パラメータサーバ(PS)の助けを借りてグローバルモデルを協調訓練するフェデレートラーニング(FL)について検討する。
psは、グローバルモデルにアクセスし、それをローカルトレーニング用のデバイスと共有し、デバイスは、グローバルモデルを更新するために、psにローカルアップデートの結果を返す。
このフレームワークは、PSからデバイスへのダウンリンク送信と、デバイスからPSへのアップリンク送信を必要とする。
本研究の目的は,ダウンリンクとアップリンクの両方における帯域制限された共有無線媒体が,ダウンリンクに着目したflの性能に与える影響を検討することである。
この目的のために、ダウンリンクチャンネルとアップリンクチャンネルは、それぞれ、帯域幅が限られているフェイディングブロードキャストと複数のアクセスチャネルとしてモデル化される。
ダウンリンク伝送では,まず,全デバイスがデコードできるように,psで量子化技術を用いてグローバルモデル更新を共通レートでブロードキャストするディジタル手法を導入する。
次に,全球モデルが非符号化方式でpsによって放送されるアナログダウンリンク伝送を提案する。
両方の場合において、アップリンク上のアナログ伝送を考慮する。
さらに、アップリンク伝送がエラーのないことを前提として、提案したアナログ手法の収束挙動を解析する。
数値実験により、アナログダウンリンク方式はPSの送信電力が著しく低いにもかかわらず、デジタル方式よりも大幅に改善されていることが示された。
実験結果は収束結果を相関させ、データ分布のバイアスがより大きい場合や、アナログダウンリンクアプローチにおいて、デバイスがグローバルモデルをよりよく見積もる場合には、より少ない局所的なイテレーションを使用する必要があることを示す。
関連論文リスト
- Time-Series JEPA for Predictive Remote Control under Capacity-Limited Networks [31.408649975934008]
時系列共同埋め込み予測アーキテクチャ(TSEPA)とセマンティックアクターは、自己指導型学習を通じて訓練された。
本稿では,TSEPA(Time-Series Joint Embedding Predictive Architecture)と,自己指導型学習を通じて訓練された意味的アクターを提案する。
論文 参考訳（メタデータ） (2024-06-07T11:35:15Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Digital Over-the-Air Federated Learning in Multi-Antenna Systems [30.137208705209627]
デジタル変調とオーバー・ザ・エア計算(AirComp)を用いた現実的な無線通信システム上でのフェデレーション学習(FL)の性能最適化について検討する。
本稿では,デジタル変調とAirCompを組み合わせたFedAvg(FedAvg)アルゴリズムを提案する。
人工ニューラルネットワーク(ANN)は、すべてのデバイスの局所FLモデルを推定し、将来のモデル伝送のためにPSのビーム形成行列を調整するために使用される。
論文 参考訳（メタデータ） (2023-02-04T07:26:06Z) - Federated Learning with Downlink Device Selection [92.14944020945846]
我々は,無線ネットワークのエッジにおいて,プライバシーに敏感なデータを用いてグローバルモデルを協調訓練するフェデレーションエッジ学習について検討した。
パラメータサーバ(PS)は、グローバルモデルを追跡し、無線エッジデバイスと共有して、プライベートローカルデータを使用したトレーニングを行う。
デバイス選択は、PSがデバイスとグローバルモデルを共有するダウンリンクチャネルに基づいて検討する。
論文 参考訳（メタデータ） (2021-07-07T22:42:39Z) - Federated Learning over Wireless Device-to-Device Networks: Algorithms
and Convergence Analysis [46.76179091774633]
本稿では,無線デバイス対デバイス(d2d)ネットワーク上でのフェデレーション学習(fl)について検討する。
まず、通信効率の良いDSGDアルゴリズムの汎用ディジタルおよびアナログ無線実装を紹介する。
第二に、凸性と接続性の仮定の下で、両実装に収束境界を提供する。
論文 参考訳（メタデータ） (2021-01-29T17:42:26Z) - Federated Learning over Noisy Channels: Convergence Analysis and Design
Examples [17.89437720094451]
Federated Learning (FL) は、アップリンク通信とダウンリンク通信の両方にエラーがある場合に機能します。
flはどの程度の通信ノイズを処理できるのか,学習性能に与える影響は何か?
この作業は、flパイプラインにアップリンクとダウンリンクの両方のノイズチャネルを明示的に組み込むことで、これらの事実上重要な質問に答えることに費やされている。
論文 参考訳（メタデータ） (2021-01-06T18:57:39Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z) - Convergence of Update Aware Device Scheduling for Federated Learning at
the Wireless Edge [84.55126371346452]
遠隔パラメータサーバ(PS)の助けを借りて、ローカルデータセットを持つパワー制限デバイスが共同でジョイントモデルを訓練する無線エッジにおけるフェデレーション学習について研究する。
各ラウンドで送信するデバイスのサブセットを決定する新しいスケジューリングとリソース割り当てポリシーを設計する。
数値実験の結果,提案したスケジューリングポリシーは,チャネル条件と局所モデル更新の重要性の両方に基づいており,両者の指標のみに基づくスケジューリングポリシーよりも長期的性能がよいことがわかった。
論文 参考訳（メタデータ） (2020-01-28T15:15:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。