論文の概要: Performance Analysis for Resource Constrained Decentralized Federated Learning Over Wireless Networks

• arxiv url: http://arxiv.org/abs/2308.06496v1
• Date: Sat, 12 Aug 2023 07:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 17:04:27.204410
• Title: Performance Analysis for Resource Constrained Decentralized Federated Learning Over Wireless Networks
• Title（参考訳）: 無線ネットワーク上での資源制約付き分散フェデレーション学習の性能解析
• Authors: Zhigang Yan and Dong Li
• Abstract要約: 分散連合学習(DFL)は、通信オーバーヘッドと中央サーバへの依存を著しく引き起こす可能性がある。 本研究では、無線ネットワーク上の異なる通信方式(デジタルおよびアナログ)を用いて、資源制約付きDFLの性能を分析し、通信効率を最適化する。
• 参考スコア（独自算出の注目度）: 4.76281731053599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) can lead to significant communication overhead and reliance on a central server. To address these challenges, decentralized federated learning (DFL) has been proposed as a more resilient framework. DFL involves parameter exchange between devices through a wireless network. This study analyzes the performance of resource-constrained DFL using different communication schemes (digital and analog) over wireless networks to optimize communication efficiency. Specifically, we provide convergence bounds for both digital and analog transmission approaches, enabling analysis of the model performance trained on DFL. Furthermore, for digital transmission, we investigate and analyze resource allocation between computation and communication and convergence rates, obtaining its communication complexity and the minimum probability of correction communication required for convergence guarantee. For analog transmission, we discuss the impact of channel fading and noise on the model performance and the maximum errors accumulation with convergence guarantee over fading channels. Finally, we conduct numerical simulations to evaluate the performance and convergence rate of convolutional neural networks (CNNs) and Vision Transformer (ViT) trained in the DFL framework on fashion-MNIST and CIFAR-10 datasets. Our simulation results validate our analysis and discussion, revealing how to improve performance by optimizing system parameters under different communication conditions.
• Abstract（参考訳）: フェデレートラーニング(FL)は、通信オーバーヘッドと中央サーバへの依存を著しく引き起こす可能性がある。 これらの課題に対処するため、よりレジリエントなフレームワークとして分散連合学習(DFL)が提案されている。 DFLは無線ネットワークを介してデバイス間でパラメータ交換を行う。 本研究では,無線ネットワーク上の異なる通信方式(ディジタルおよびアナログ)を用いて,資源制約付きdflの性能を分析し,通信効率を最適化する。 具体的には、デジタル伝送とアナログ伝送の両方に収束境界を提供し、DFLで訓練されたモデル性能の解析を可能にする。 さらに,ディジタルトランスミッションでは,計算量と通信量と収束率のリソース割当を調査し分析し,その通信複雑性と収束保証に必要な補正通信の最小確率を求める。 アナログ伝送では,チャネルフェーディングとノイズがモデル性能に及ぼす影響と,フェーディングチャネル上の収束保証を伴う最大誤差の蓄積について検討する。 最後に、DFLフレームワークで訓練された畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)のファッションMNISTおよびCIFAR-10データセットの性能と収束率を評価する数値シミュレーションを行う。 シミュレーションの結果から,異なる通信条件下でのシステムパラメータの最適化による性能向上の方法が明らかになった。

関連論文リスト

• Digital versus Analog Transmissions for Federated Learning over Wireless Networks [91.20926827568053]
  資源制約付きネットワーク上での無線連合学習(FL)における2つの効果的な通信方式を比較した。 まず,デジタルとアナログの両方の伝送方式と,実用的制約下での統一的かつ公正な比較手法について検討する。 無線ネットワークにおけるFL性能評価のために,様々な不完全条件下での普遍収束解析を確立する。
  論文  参考訳（メタデータ） (2024-02-15T01:50:46Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• CFLIT: Coexisting Federated Learning and Information Transfer [18.30671838758503]
  本研究では,モバイルエッジネットワークにおける無線放送と従来型情報伝達(IT)の共存性について検討する。 FLとITデバイスがOFDMシステムで無線スペクトルを共有するCFLIT(Commanded Learning and Information Transfer)通信フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-26T13:17:28Z)
• Over-the-Air Federated Learning with Retransmissions (Extended Version) [21.37147806100865]
  資源制約のある無線ネットワーク上でのフェデレート学習(FL)の収束に対する推定誤差の影響について検討する。 資源制約のある無線ネットワーク上でFL収束を改善する手法として再送信を提案する。
  論文  参考訳（メタデータ） (2021-11-19T15:17:15Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Federated Learning over Wireless Device-to-Device Networks: Algorithms and Convergence Analysis [46.76179091774633]
  本稿では,無線デバイス対デバイス(d2d)ネットワーク上でのフェデレーション学習(fl)について検討する。 まず、通信効率の良いDSGDアルゴリズムの汎用ディジタルおよびアナログ無線実装を紹介する。 第二に、凸性と接続性の仮定の下で、両実装に収束境界を提供する。
  論文  参考訳（メタデータ） (2021-01-29T17:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。