論文の概要: Improved Convergence Analysis and SNR Control Strategies for Federated
Learning in the Presence of Noise
- arxiv url: http://arxiv.org/abs/2307.07406v1
- Date: Fri, 14 Jul 2023 15:35:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 13:35:06.020388
- Title: Improved Convergence Analysis and SNR Control Strategies for Federated
Learning in the Presence of Noise
- Title（参考訳）: 雑音下での連合学習のための収束解析とsnr制御戦略の改善
- Authors: Antesh Upadhyay and Abolfazl Hashemi
- Abstract要約: 本稿では,不完全/ノイズのアップリンク通信とダウンリンク通信で分散学習パラダイムを特徴付ける改良された収束解析手法を提案する。
このような不完全なコミュニケーションシナリオは、新興通信システムやプロトコルにおけるFLの実践的な展開に現れます。
- 参考スコア（独自算出の注目度）: 10.685862129925729
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an improved convergence analysis technique that characterizes the
distributed learning paradigm of federated learning (FL) with imperfect/noisy
uplink and downlink communications. Such imperfect communication scenarios
arise in the practical deployment of FL in emerging communication systems and
protocols. The analysis developed in this paper demonstrates, for the first
time, that there is an asymmetry in the detrimental effects of uplink and
downlink communications in FL. In particular, the adverse effect of the
downlink noise is more severe on the convergence of FL algorithms. Using this
insight, we propose improved Signal-to-Noise (SNR) control strategies that,
discarding the negligible higher-order terms, lead to a similar convergence
rate for FL as in the case of a perfect, noise-free communication channel while
incurring significantly less power resources compared to existing solutions. In
particular, we establish that to maintain the $O(\frac{1}{\sqrt{K}})$ rate of
convergence like in the case of noise-free FL, we need to scale down the uplink
and downlink noise by $\Omega({\sqrt{k}})$ and $\Omega({k})$ respectively,
where $k$ denotes the communication round, $k=1,\dots, K$. Our theoretical
result is further characterized by two major benefits: firstly, it does not
assume the somewhat unrealistic assumption of bounded client dissimilarity, and
secondly, it only requires smooth non-convex loss functions, a function class
better suited for modern machine learning and deep learning models. We also
perform extensive empirical analysis to verify the validity of our theoretical
findings.
- Abstract（参考訳）: 本稿では,不完全/ノイズのアップリンク通信とダウンリンク通信によるフェデレーション学習(FL)の分散学習パラダイムを特徴付ける改良された収束解析手法を提案する。
このような不完全な通信シナリオは、新興の通信システムやプロトコルにおけるflの実用的な展開において生じる。
本稿では,FLにおけるアップリンクおよびダウンリンク通信の劣化効果に非対称性があることを初めて示す。
特に、ダウンリンクノイズの悪影響はflアルゴリズムの収束により重大である。
この知見を用いて,信号対雑音(SNR)制御手法を改良し,無視可能な高次項を排除し,完全かつノイズのない通信チャネルの場合と同様の収束率を実現するとともに,既存のソリューションに比べて電力資源を著しく削減する。
特に、ノイズのないflの場合のように、$o(\frac{1}{\sqrt{k}})$の収束率を維持するためには、アップリンクノイズとダウンリンクノイズをそれぞれ$\omega({\sqrt{k}})$と$\omega({k})$でスケールダウンする必要がある。
ひとつは、有界なクライアントの相似性のやや非現実的な仮定を前提とせず、もうひとつは、現代的な機械学習やディープラーニングモデルに適した関数クラスであるスムーズな非凸損失関数のみを必要とすることである。
また,理論的な結果の妥当性を検証するため,広範な実証分析を行った。
関連論文リスト
- FedNMUT -- Federated Noisy Model Update Tracking Convergence Analysis [3.665841843512992]
分散ノイズモデル更新追跡フェデレート学習アルゴリズム(FedNMUT)を提案する。
ノイズの多い通信チャネルで効率的に機能するように調整されている。
FedNMUTはノイズをパラメータに組み込んで、ノイズの多い通信チャネルの条件を模倣する。
論文 参考訳（メタデータ） (2024-03-20T02:17:47Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Random Orthogonalization for Federated Learning in Massive MIMO Systems [85.71432283670114]
大規模マルチインプット・マルチアウトプット(MIMO)無線システムにおいて,フェデレートラーニング(FL)のための新しい通信設計を提案する。
ランダム直交化の主な特徴は、FLの密結合と、チャネル硬化と良好な伝播の2つの特徴から生じる。
我々は、この原理をダウンリンク通信フェーズに拡張し、FLの簡易かつ高効率なモデル放送法を開発する。
論文 参考訳（メタデータ） (2022-10-18T14:17:10Z) - Fundamental Limits of Communication Efficiency for Model Aggregation in
Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。
SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
論文 参考訳（メタデータ） (2022-06-28T13:10:40Z) - Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。
提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
論文 参考訳（メタデータ） (2022-04-26T16:37:29Z) - Joint Optimization of Communications and Federated Learning Over the Air [32.14738452396869]
Federated Learning(FL)は、データプライバシーを保護しながら、リッチな分散データを利用するための魅力的なパラダイムです。
本稿では,リアル無線ネットワークにおけるアナログアグリゲーション伝送に基づく通信とFLの協調最適化について検討する。
論文 参考訳（メタデータ） (2021-04-08T03:38:31Z) - 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。
スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。
シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
論文 参考訳（メタデータ） (2021-03-30T03:50:31Z) - Federated Learning over Noisy Channels: Convergence Analysis and Design
Examples [17.89437720094451]
Federated Learning (FL) は、アップリンク通信とダウンリンク通信の両方にエラーがある場合に機能します。
flはどの程度の通信ノイズを処理できるのか,学習性能に与える影響は何か?
この作業は、flパイプラインにアップリンクとダウンリンクの両方のノイズチャネルを明示的に組み込むことで、これらの事実上重要な質問に答えることに費やされている。
論文 参考訳（メタデータ） (2021-01-06T18:57:39Z) - Delay Minimization for Federated Learning Over Wireless Communication
Networks [172.42768672943365]
無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。
最適解を得るために,二項探索アルゴリズムを提案する。
シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
論文 参考訳（メタデータ） (2020-07-05T19:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。