論文の概要: Robust Federated Learning with Connectivity Failures: A
Semi-Decentralized Framework with Collaborative Relaying
- arxiv url: http://arxiv.org/abs/2202.11850v1
- Date: Thu, 24 Feb 2022 01:06:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-26 05:55:10.591720
- Title: Robust Federated Learning with Connectivity Failures: A
Semi-Decentralized Framework with Collaborative Relaying
- Title（参考訳）: 接続障害を伴うロバスト連合学習:協調中継を用いた半分散フレームワーク
- Authors: Michal Yemini, Rajarshi Saha, Emre Ozfatura, Deniz G\"und\"uz, Andrea
J. Goldsmith
- Abstract要約: 断続的なクライアント接続は、集中型フェデレーションエッジ学習フレームワークにおける大きな課題の1つです。
協調リレーに基づく半分散型エッジ学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 27.120495678791883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intermittent client connectivity is one of the major challenges in
centralized federated edge learning frameworks. Intermittently failing uplinks
to the central parameter server (PS) can induce a large generalization gap in
performance especially when the data distribution among the clients exhibits
heterogeneity. In this work, to mitigate communication blockages between
clients and the central PS, we introduce the concept of knowledge relaying
wherein the successfully participating clients collaborate in relaying their
neighbors' local updates to a central parameter server (PS) in order to boost
the participation of clients with intermittently failing connectivity. We
propose a collaborative relaying based semi-decentralized federated edge
learning framework where at every communication round each client first
computes a local consensus of the updates from its neighboring clients and
eventually transmits a weighted average of its own update and those of its
neighbors to the PS. We appropriately optimize these averaging weights to
reduce the variance of the global update at the PS while ensuring that the
global update is unbiased, consequently improving the convergence rate.
Finally, by conducting experiments on CIFAR-10 dataset we validate our
theoretical results and demonstrate that our proposed scheme is superior to
Federated averaging benchmark especially when data distribution among clients
is non-iid.
- Abstract（参考訳）: 断続的なクライアント接続は、集中型エッジ学習フレームワークにおける大きな課題の1つです。
中央パラメータサーバ(PS)への断続的なアップリンクは、特にクライアント間のデータ分散が不均一性を示す場合、パフォーマンスの大幅な一般化ギャップを生じさせる。
本研究は,クライアントと中央ps間の通信障害を軽減するため,クライアントが相互に接続を断続的に失敗してクライアントの参加を促進するために,クライアント同士のローカル更新を中央パラメータサーバ(ps)に中継する,知識中継という概念を導入することを目的とする。
そこで我々は,各クライアント間の通信毎に,各クライアントからの更新のローカルコンセンサスを計算し,その更新の重み付け平均値と隣接クライアントの更新値をpsに送信する,協調型リレー型半分散型エッジ学習フレームワークを提案する。
これらの平均化重みを適切に最適化し、psにおけるグローバル更新のばらつきを低減し、グローバル更新の偏りをなくし、コンバージェンスレートを向上させる。
最後に、CIFAR-10データセットの実験を行い、クライアント間のデータ分散が非IDである場合、提案手法がフェデレーション平均化ベンチマークよりも優れていることを示す。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification [49.66272783945571]
Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。
本稿では,Entity-Wise Top-K Sparsification 戦略に基づく双方向通信効率のFedSを提案する。
論文 参考訳（メタデータ） (2024-06-19T05:26:02Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。
クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。
各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
論文 参考訳（メタデータ） (2023-06-21T17:39:16Z) - Collaborative Mean Estimation over Intermittently Connected Networks
with Peer-To-Peer Privacy [86.61829236732744]
本研究は、断続接続を有するネットワーク上での分散平均推定(DME)の問題について考察する。
目標は、中央サーバの助けを借りて、分散ノード間でローカライズされたデータサンプルに関するグローバル統計を学習することだ。
ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
論文 参考訳（メタデータ） (2023-02-28T19:17:03Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - Semi-Decentralized Federated Learning with Collaborative Relaying [27.120495678791883]
我々は、クライアントが隣人のローカル更新を中央パラメータサーバ(PS)に中継することで協調する半分散型フェデレーション学習アルゴリズムを提案する。
我々は、これらの平均的な重み付けを適切に最適化し、PSにおけるグローバルアップデートが不偏であることを保証し、PSにおけるグローバルアップデートのばらつきを低減する。
論文 参考訳（メタデータ） (2022-05-23T02:16:53Z) - Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。
FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。
FLの主な課題の1つは、通信オーバーヘッドである。
本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-05T22:09:21Z) - Communication-Efficient Federated Learning with Accelerated Client Gradient [46.81082897703729]
フェデレーション学習は、クライアントデータセットの不均一な特徴のために、遅くて不安定な収束に悩まされることが多い。
本稿では,クライアント間の一貫性を改善し,サーバモデルの収束を容易にする,シンプルだが効果的なフェデレーション学習フレームワークを提案する。
我々は,アルゴリズムの理論的収束率を示し,精度と通信効率の点で顕著な性能向上を示す。
論文 参考訳（メタデータ） (2022-01-10T05:31:07Z) - Decentralized Federated Averaging [17.63112147669365]
Federated Averaging (FedAvg) は、膨大な数のクライアントを持つ分散トレーニングのための通信効率のよいアルゴリズムである。
我々は,非方向性グラフで接続されたクライアントに実装された運動量付き分散FedAvg(DFedAvgM)について検討する。
論文 参考訳（メタデータ） (2021-04-23T02:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。