論文の概要: Federated Learning over Wireless Device-to-Device Networks: Algorithms and Convergence Analysis

• arxiv url: http://arxiv.org/abs/2101.12704v1
• Date: Fri, 29 Jan 2021 17:42:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 00:18:39.743692
• Title: Federated Learning over Wireless Device-to-Device Networks: Algorithms and Convergence Analysis
• Title（参考訳）: 無線デバイス間ネットワークによるフェデレーション学習:アルゴリズムと収束解析
• Authors: Hong Xing and Osvaldo Simeone and Suzhi Bi
• Abstract要約: 本稿では,無線デバイス対デバイス(d2d)ネットワーク上でのフェデレーション学習(fl)について検討する。 まず、通信効率の良いDSGDアルゴリズムの汎用ディジタルおよびアナログ無線実装を紹介する。 第二に、凸性と接続性の仮定の下で、両実装に収束境界を提供する。
• 参考スコア（独自算出の注目度）: 46.76179091774633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of Internet-of-Things (IoT) devices and cloud-computing applications over siloed data centers is motivating renewed interest in the collaborative training of a shared model by multiple individual clients via federated learning (FL). To improve the communication efficiency of FL implementations in wireless systems, recent works have proposed compression and dimension reduction mechanisms, along with digital and analog transmission schemes that account for channel noise, fading, and interference. This prior art has mainly focused on star topologies consisting of distributed clients and a central server. In contrast, this paper studies FL over wireless device-to-device (D2D) networks by providing theoretical insights into the performance of digital and analog implementations of decentralized stochastic gradient descent (DSGD). First, we introduce generic digital and analog wireless implementations of communication-efficient DSGD algorithms, leveraging random linear coding (RLC) for compression and over-the-air computation (AirComp) for simultaneous analog transmissions. Next, under the assumptions of convexity and connectivity, we provide convergence bounds for both implementations. The results demonstrate the dependence of the optimality gap on the connectivity and on the signal-to-noise ratio (SNR) levels in the network. The analysis is corroborated by experiments on an image-classification task.
• Abstract（参考訳）: サイロ化されたデータセンタ上でのIoT(Internet-of-Things)デバイスとクラウドコンピューティングアプリケーションの普及は、フェデレーションドラーニング(FL)を通じて、複数のクライアントによる共有モデルの協調トレーニングに新たな関心を喚起している。 無線システムにおけるFL実装の通信効率を向上させるため、近年の研究では、チャネルノイズ、フェード、干渉を考慮したデジタルおよびアナログ伝送方式とともに、圧縮と次元削減機構を提案する。 この先行技術は、主に分散クライアントと中央サーバからなる星のトポロジに焦点を当てている。 対照的に,分散確率勾配降下 (dsgd) のディジタルおよびアナログ実装の性能に関する理論的知見を提供し,無線デバイス間通信 (d2d) ネットワークに対するflの研究を行った。 まず、通信効率の良いDSGDアルゴリズムの汎用ディジタルおよびアナログ無線実装を紹介し、圧縮にはランダム線形符号化(RLC)、同時アナログ伝送にはエアコン(AirComp)を利用する。 次に、凸性と接続性の仮定の下で、両実装に収束境界を提供する。 その結果,ネットワークの接続性とSNR(Signal-to-Noise ratio)レベルに対する最適性ギャップの依存性が示された。 解析は画像分類タスクの実験によって裏付けられる。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Digital versus Analog Transmissions for Federated Learning over Wireless Networks [91.20926827568053]
  資源制約付きネットワーク上での無線連合学習(FL)における2つの効果的な通信方式を比較した。 まず,デジタルとアナログの両方の伝送方式と,実用的制約下での統一的かつ公正な比較手法について検討する。 無線ネットワークにおけるFL性能評価のために,様々な不完全条件下での普遍収束解析を確立する。
  論文  参考訳（メタデータ） (2024-02-15T01:50:46Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Performance Analysis for Resource Constrained Decentralized Federated Learning Over Wireless Networks [4.76281731053599]
  分散連合学習(DFL)は、通信オーバーヘッドと中央サーバへの依存を著しく引き起こす可能性がある。 本研究では、無線ネットワーク上の異なる通信方式(デジタルおよびアナログ)を用いて、資源制約付きDFLの性能を分析し、通信効率を最適化する。
  論文  参考訳（メタデータ） (2023-08-12T07:56:48Z)
• Asynchronous Decentralized Learning over Unreliable Wireless Networks [4.630093015127539]
  分散型学習は、デバイス間通信を通じて情報を交換することで、エッジユーザが協力的にモデルをトレーニングすることを可能にする。 無線ネットワークエッジで発生する固有および通信障害に対して頑健な非同期分散勾配降下(DSGD)アルゴリズムを提案する。 実験結果は,信頼性の低い無線ネットワーク上での分散学習における非同期性と時代遅れな勾配情報の再利用の利点を実証し,我々の分析を裏付けるものである。
  論文  参考訳（メタデータ） (2022-02-02T11:00:49Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Over-the-Air Decentralized Federated Learning [28.593149477080605]
  本稿では,無線ネットワーク上での分散化フェデレーション学習(FL)について考察する。そこでは,デバイス間通信(D2D)におけるローカルモデルコンセンサスを促進するために,オーバー・ザ・エア計算(AirComp)が採用されている。 本稿では,D2D通信における事前符号化と復号化の両手法を組み込んだ,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。 提案アルゴリズムは線形に収束し, チャネルのフェージングとノイズを考慮した, 強い凸関数と滑らかな損失関数の最適性ギャップを確立する。
  論文  参考訳（メタデータ） (2021-06-15T09:42:33Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。