Fugu-MT 論文翻訳(概要): FedDec: Peer-to-peer Aided Federated Learning

論文の概要: FedDec: Peer-to-peer Aided Federated Learning

arxiv url: http://arxiv.org/abs/2306.06715v1
Date: Sun, 11 Jun 2023 16:30:57 GMT
ステータス: 処理完了
システム内更新日: 2023-06-13 17:05:53.434093
Title: FedDec: Peer-to-peer Aided Federated Learning
Title（参考訳）: FedDec:フェデレーション学習を支援するピアツーピア
Authors: Marina Costantini, Giovanni Neglia, and Thrasyvoulos Spyropoulos
Abstract要約: フェデレートラーニング(FL)は、プライバシを損なうことなく、複数のエージェントのデータを活用する機械学習モデルのトレーニングを可能にした。 FLは、データ不均一性、部分的なデバイス参加、サーバとの頻繁な通信に弱いことが知られている。 FLの局所勾配更新間でのピアツーピア通信とパラメータ平均化をインターリーブするアルゴリズムであるFedDecを提案する。
参考スコア（独自算出の注目度）: 15.952956981784219
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) has enabled training machine learning models exploiting the data of multiple agents without compromising privacy. However, FL is known to be vulnerable to data heterogeneity, partial device participation, and infrequent communication with the server, which are nonetheless three distinctive characteristics of this framework. While much of the recent literature has tackled these weaknesses using different tools, only a few works have explored the possibility of exploiting inter-agent communication to improve FL's performance. In this work, we present FedDec, an algorithm that interleaves peer-to-peer communication and parameter averaging (similar to decentralized learning in networks) between the local gradient updates of FL. We analyze the convergence of FedDec under the assumptions of non-iid data distribution, partial device participation, and smooth and strongly convex costs, and show that inter-agent communication alleviates the negative impact of infrequent communication rounds with the server by reducing the dependence on the number of local updates $H$ from $O(H^2)$ to $O(H)$. Furthermore, our analysis reveals that the term improved in the bound is multiplied by a constant that depends on the spectrum of the inter-agent communication graph, and that vanishes quickly the more connected the network is. We confirm the predictions of our theory in numerical simulations, where we show that FedDec converges faster than FedAvg, and that the gains are greater as either $H$ or the connectivity of the network increase.
Abstract（参考訳）: フェデレーション学習(FL)は、プライバシを損なうことなく、複数のエージェントのデータを活用する機械学習モデルのトレーニングを可能にする。しかしながら、flは、データの不均一性、部分的デバイス参加、サーバとの通信の頻度の低さに弱いことが知られており、このフレームワークには3つの特徴がある。最近の文献の多くは、異なるツールを使用してこれらの弱点に取り組んだが、flのパフォーマンスを改善するためにエージェント間通信を利用する可能性についての研究はごくわずかである。本稿では、FLの局所勾配更新間でのピアツーピア通信とパラメータ平均化(ネットワークにおける分散学習に似ている)をインターリーブするアルゴリズムであるFedDecを提案する。我々は,FedDecの収束を非IDデータ分布,部分デバイス参加,スムーズかつ強い凸コストの仮定に基づいて分析し,ローカル更新数への依存を減らし,エージェント間通信がサーバとの非頻繁な通信ラウンドの負の影響を軽減し,$O(H^2)$から$O(H)$に還元することを示す。さらに,本解析により,境界で改良された用語は,エージェント間通信グラフのスペクトルに依存する定数で乗算され,ネットワークがより接続されるほど急速に消失することが明らかとなった。我々は、FedDecがFedAvgよりも早く収束し、利益が$H$かネットワークの接続性よりも大きいことを示す数値シミュレーションにおいて、我々の理論の予測を確認した。

関連論文リスト

How Robust is Federated Learning to Communication Error? A Comparison Study Between Uplink and Downlink Channels [13.885735785986164]
本稿では,アップリンクおよびダウンリンク通信誤りに対するフェデレーション学習の堅牢性について検討する。 FLにおけるアップリンク通信は、ダウンリンク通信よりも高いビット誤り率(BER)を許容できることが示されている。
論文参考訳（メタデータ） (2023-10-25T14:03:11Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
論文参考訳（メタデータ） (2023-06-28T18:52:27Z)
PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
論文参考訳（メタデータ） (2023-05-19T05:39:40Z)
Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文参考訳（メタデータ） (2023-05-15T22:04:49Z)
CFLIT: Coexisting Federated Learning and Information Transfer [18.30671838758503]
本研究では,モバイルエッジネットワークにおける無線放送と従来型情報伝達(IT)の共存性について検討する。 FLとITデバイスがOFDMシステムで無線スペクトルを共有するCFLIT(Commanded Learning and Information Transfer)通信フレームワークを提案する。
論文参考訳（メタデータ） (2022-07-26T13:17:28Z)
Resource Allocation for Compression-aided Federated Learning with High Distortion Rate [3.7530276852356645]
我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
論文参考訳（メタデータ） (2022-06-02T05:00:37Z)
Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文参考訳（メタデータ） (2021-12-18T02:26:38Z)
Spatio-Temporal Federated Learning for Massive Wireless Edge Networks [23.389249751372393]
エッジサーバと多数のモバイルデバイス(クライアント)は、モバイルデバイスが収集した膨大なデータをエッジサーバに転送することなく、グローバルモデルを共同で学習する。提案手法は,STFLに参加する予定の様々なモバイルデバイスからの学習更新の空間的および時間的相関を利用している。収束性能を用いてSTFLの学習能力を研究するために,STFLの分析フレームワークを提案する。
論文参考訳（メタデータ） (2021-10-27T16:46:45Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。