論文の概要: Robust Federated Learning with Connectivity Failures: A
Semi-Decentralized Framework with Collaborative Relaying
- arxiv url: http://arxiv.org/abs/2202.11850v1
- Date: Thu, 24 Feb 2022 01:06:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-26 05:55:10.591720
- Title: Robust Federated Learning with Connectivity Failures: A
Semi-Decentralized Framework with Collaborative Relaying
- Title(参考訳): 接続障害を伴うロバスト連合学習:協調中継を用いた半分散フレームワーク
- Authors: Michal Yemini, Rajarshi Saha, Emre Ozfatura, Deniz G\"und\"uz, Andrea
J. Goldsmith
- Abstract要約: 断続的なクライアント接続は、集中型フェデレーションエッジ学習フレームワークにおける大きな課題の1つです。
協調リレーに基づく半分散型エッジ学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 27.120495678791883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intermittent client connectivity is one of the major challenges in
centralized federated edge learning frameworks. Intermittently failing uplinks
to the central parameter server (PS) can induce a large generalization gap in
performance especially when the data distribution among the clients exhibits
heterogeneity. In this work, to mitigate communication blockages between
clients and the central PS, we introduce the concept of knowledge relaying
wherein the successfully participating clients collaborate in relaying their
neighbors' local updates to a central parameter server (PS) in order to boost
the participation of clients with intermittently failing connectivity. We
propose a collaborative relaying based semi-decentralized federated edge
learning framework where at every communication round each client first
computes a local consensus of the updates from its neighboring clients and
eventually transmits a weighted average of its own update and those of its
neighbors to the PS. We appropriately optimize these averaging weights to
reduce the variance of the global update at the PS while ensuring that the
global update is unbiased, consequently improving the convergence rate.
Finally, by conducting experiments on CIFAR-10 dataset we validate our
theoretical results and demonstrate that our proposed scheme is superior to
Federated averaging benchmark especially when data distribution among clients
is non-iid.
- Abstract(参考訳): 断続的なクライアント接続は、集中型エッジ学習フレームワークにおける大きな課題の1つです。
中央パラメータサーバ(PS)への断続的なアップリンクは、特にクライアント間のデータ分散が不均一性を示す場合、パフォーマンスの大幅な一般化ギャップを生じさせる。
本研究は,クライアントと中央ps間の通信障害を軽減するため,クライアントが相互に接続を断続的に失敗してクライアントの参加を促進するために,クライアント同士のローカル更新を中央パラメータサーバ(ps)に中継する,知識中継という概念を導入することを目的とする。
そこで我々は,各クライアント間の通信毎に,各クライアントからの更新のローカルコンセンサスを計算し,その更新の重み付け平均値と隣接クライアントの更新値をpsに送信する,協調型リレー型半分散型エッジ学習フレームワークを提案する。
これらの平均化重みを適切に最適化し、psにおけるグローバル更新のばらつきを低減し、グローバル更新の偏りをなくし、コンバージェンスレートを向上させる。
最後に、CIFAR-10データセットの実験を行い、クライアント間のデータ分散が非IDである場合、提案手法がフェデレーション平均化ベンチマークよりも優れていることを示す。
関連論文リスト
- Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳(メタデータ) (2024-02-17T05:22:46Z) - Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。
クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。
各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
論文 参考訳(メタデータ) (2023-06-21T17:39:16Z) - FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.84926694477846]
フェデレートラーニング(FL)は、分散モデルトレーニングの新たな標準となっている。
本稿では,局所パラメータと大域パラメータの偏差を考慮した適応学習率反復アルゴリズムを提案する。
提案手法は,IIDおよび非IIDデータ分布を持つ実世界のデータセットにおけるモデル精度と収束率の両方において,最先端のFLスキームよりも優れている。
論文 参考訳(メタデータ) (2023-03-28T08:07:28Z) - Collaborative Mean Estimation over Intermittently Connected Networks
with Peer-To-Peer Privacy [86.61829236732744]
本研究は、断続接続を有するネットワーク上での分散平均推定(DME)の問題について考察する。
目標は、中央サーバの助けを借りて、分散ノード間でローカライズされたデータサンプルに関するグローバル統計を学習することだ。
ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
論文 参考訳(メタデータ) (2023-02-28T19:17:03Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2022-12-14T13:57:01Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - Semi-Decentralized Federated Learning with Collaborative Relaying [27.120495678791883]
我々は、クライアントが隣人のローカル更新を中央パラメータサーバ(PS)に中継することで協調する半分散型フェデレーション学習アルゴリズムを提案する。
我々は、これらの平均的な重み付けを適切に最適化し、PSにおけるグローバルアップデートが不偏であることを保証し、PSにおけるグローバルアップデートのばらつきを低減する。
論文 参考訳(メタデータ) (2022-05-23T02:16:53Z) - Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。
FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。
FLの主な課題の1つは、通信オーバーヘッドである。
本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-05T22:09:21Z) - Communication-Efficient Federated Learning with Acceleration of Global
Momentum [46.771459325434535]
フェデレートラーニングはしばしば、参加するクライアントの不均一な特性のために不安定で遅い収束に悩まされる。
本稿では,サーバ側のアグリゲーションステップの安定性を向上させる新しいフェデレーション学習フレームワークを提案する。
本アルゴリズムは,グローバルな更新情報を,追加の通信コストを伴わない参加者に自然に集約し,伝達する。
論文 参考訳(メタデータ) (2022-01-10T05:31:07Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - Decentralized Federated Averaging [17.63112147669365]
Federated Averaging (FedAvg) は、膨大な数のクライアントを持つ分散トレーニングのための通信効率のよいアルゴリズムである。
我々は,非方向性グラフで接続されたクライアントに実装された運動量付き分散FedAvg(DFedAvgM)について検討する。
論文 参考訳(メタデータ) (2021-04-23T02:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。