論文の概要: Federated Learning over Noisy Channels: Convergence Analysis and Design
Examples
- arxiv url: http://arxiv.org/abs/2101.02198v1
- Date: Wed, 6 Jan 2021 18:57:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-11 00:01:16.288715
- Title: Federated Learning over Noisy Channels: Convergence Analysis and Design
Examples
- Title（参考訳）: 雑音下における連合学習:収束解析と設計例
- Authors: Xizixiang Wei and Cong Shen
- Abstract要約: Federated Learning (FL) は、アップリンク通信とダウンリンク通信の両方にエラーがある場合に機能します。
flはどの程度の通信ノイズを処理できるのか,学習性能に与える影響は何か?
この作業は、flパイプラインにアップリンクとダウンリンクの両方のノイズチャネルを明示的に組み込むことで、これらの事実上重要な質問に答えることに費やされている。
- 参考スコア（独自算出の注目度）: 17.89437720094451
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Does Federated Learning (FL) work when both uplink and downlink
communications have errors? How much communication noise can FL handle and what
is its impact to the learning performance? This work is devoted to answering
these practically important questions by explicitly incorporating both uplink
and downlink noisy channels in the FL pipeline. We present several novel
convergence analyses of FL over simultaneous uplink and downlink noisy
communication channels, which encompass full and partial clients participation,
direct model and model differential transmissions, and non-independent and
identically distributed (IID) local datasets. These analyses characterize the
sufficient conditions for FL over noisy channels to have the same convergence
behavior as the ideal case of no communication error. More specifically, in
order to maintain the O(1/T) convergence rate of FedAvg with perfect
communications, the uplink and downlink signal-to-noise ratio (SNR) for direct
model transmissions should be controlled such that they scale as O(t^2) where t
is the index of communication rounds, but can stay constant for model
differential transmissions. The key insight of these theoretical results is a
"flying under the radar" principle - stochastic gradient descent (SGD) is an
inherent noisy process and uplink/downlink communication noises can be
tolerated as long as they do not dominate the time-varying SGD noise. We
exemplify these theoretical findings with two widely adopted communication
techniques - transmit power control and diversity combining - and further
validating their performance advantages over the standard methods via extensive
numerical experiments using several real-world FL tasks.
- Abstract（参考訳）: 連邦学習(FL)は、アップリンクとダウンリンクの両方のコミュニケーションに誤りがある場合に有効か?
flはどの程度の通信ノイズを処理できるのか,学習性能に与える影響は何か?
この作業は、flパイプラインにアップリンクとダウンリンクの両方のノイズチャネルを明示的に組み込むことで、これらの事実上重要な質問に答えることに費やされている。
本報告では, フルクライアントおよび部分クライアントの参加, 直接モデルおよびモデル差分送信, 非独立および同一分散(IID)ローカルデータセットを含む, FLの同時アップリンクおよびダウンリンクノイズ通信チャネル上の新しい収束解析について述べる。
これらの解析は、ノイズチャネル上のflが通信エラーのない理想的な場合と同じ収束挙動を持つのに十分な条件を特徴付ける。
具体的には、FedAvgのO(1/T)収束率を完全通信で維持するためには、直接モデル伝送のためのアップリンクとダウンリンクの信号-雑音比(SNR)を、tが通信ラウンドの指標であるO(t^2)としてスケールするように制御する必要があるが、モデル差動伝送には一定を維持することができる。
確率的勾配降下(sgd)は本質的にノイズの多いプロセスであり、アップリンク/ダウンリンクの通信ノイズは時間的に変化するsgdノイズを支配できなければ許容できる。
実世界のflタスクを用いた広範囲な数値実験により, 電力制御とダイバーシティの組み合わせという2つの広く採用されているコミュニケーション手法を用いて, これらの理論的な知見を実証し, それらの性能の利点を検証した。
関連論文リスト
- Latent Diffusion Model-Enabled Real-Time Semantic Communication Considering Semantic Ambiguities and Channel Noises [18.539501941328393]
本稿では, 遅延拡散モデル対応SemComシステムを構築し, 既存システムと比較して3つの改良点を提案する。
軽量な単層遅延空間変換アダプタは、送信機でのワンショット学習を完了させる。
終端整合蒸留法を用いて, 潜時空間で訓練した拡散模型を蒸留する。
論文 参考訳（メタデータ） (2024-06-09T23:39:31Z) - Digital versus Analog Transmissions for Federated Learning over Wireless
Networks [91.20926827568053]
資源制約付きネットワーク上での無線連合学習(FL)における2つの効果的な通信方式を比較した。
まず,デジタルとアナログの両方の伝送方式と,実用的制約下での統一的かつ公正な比較手法について検討する。
無線ネットワークにおけるFL性能評価のために,様々な不完全条件下での普遍収束解析を確立する。
論文 参考訳（メタデータ） (2024-02-15T01:50:46Z) - How Robust is Federated Learning to Communication Error? A Comparison
Study Between Uplink and Downlink Channels [13.885735785986164]
本稿では,アップリンクおよびダウンリンク通信誤りに対するフェデレーション学習の堅牢性について検討する。
FLにおけるアップリンク通信は、ダウンリンク通信よりも高いビット誤り率(BER)を許容できることが示されている。
論文 参考訳（メタデータ） (2023-10-25T14:03:11Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Performance Analysis for Resource Constrained Decentralized Federated
Learning Over Wireless Networks [4.76281731053599]
分散連合学習(DFL)は、通信オーバーヘッドと中央サーバへの依存を著しく引き起こす可能性がある。
本研究では、無線ネットワーク上の異なる通信方式(デジタルおよびアナログ)を用いて、資源制約付きDFLの性能を分析し、通信効率を最適化する。
論文 参考訳（メタデータ） (2023-08-12T07:56:48Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳（メタデータ） (2023-08-07T16:32:14Z) - Improved Convergence Analysis and SNR Control Strategies for Federated
Learning in the Presence of Noise [10.685862129925729]
本稿では,不完全/ノイズのアップリンク通信とダウンリンク通信で分散学習パラダイムを特徴付ける改良された収束解析手法を提案する。
このような不完全なコミュニケーションシナリオは、新興通信システムやプロトコルにおけるFLの実践的な展開に現れます。
論文 参考訳（メタデータ） (2023-07-14T15:35:57Z) - Deep Reinforcement Learning for IRS Phase Shift Design in
Spatiotemporally Correlated Environments [93.30657979626858]
本稿では,チャネル相関と目的地動きを考慮したディープアクター批判アルゴリズムを提案する。
チャネルが時間的に相関している場合、コンバージェンスを抑制する方法において、関数近似を伴う状態表現にSNRを組み込むことが示される。
論文 参考訳（メタデータ） (2022-11-02T22:07:36Z) - Random Orthogonalization for Federated Learning in Massive MIMO Systems [85.71432283670114]
大規模マルチインプット・マルチアウトプット(MIMO)無線システムにおいて,フェデレートラーニング(FL)のための新しい通信設計を提案する。
ランダム直交化の主な特徴は、FLの密結合と、チャネル硬化と良好な伝播の2つの特徴から生じる。
我々は、この原理をダウンリンク通信フェーズに拡張し、FLの簡易かつ高効率なモデル放送法を開発する。
論文 参考訳（メタデータ） (2022-10-18T14:17:10Z) - Convergence of Federated Learning over a Noisy Downlink [84.55126371346452]
我々は,遠隔パラメータサーバの助けを借りて,ローカルデータセットを利用してグローバルモデルを協調訓練するフェデレーション学習について検討した。
このフレームワークは、PSからデバイスへのダウンリンク送信と、デバイスからPSへのアップリンク送信を必要とする。
本研究の目的は、ダウンリンクとアップリンクの両方における帯域幅制限された共有無線媒体がFLの性能に与える影響を検討することである。
論文 参考訳（メタデータ） (2020-08-25T16:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。