論文の概要: Semi-Decentralized Federated Learning with Collaborative Relaying

• arxiv url: http://arxiv.org/abs/2205.10998v1
• Date: Mon, 23 May 2022 02:16:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 20:14:32.731128
• Title: Semi-Decentralized Federated Learning with Collaborative Relaying
• Title（参考訳）: 協調中継による半分散連合学習
• Authors: Michal Yemini, Rajarshi Saha, Emre Ozfatura, Deniz G\"und\"uz, Andrea J. Goldsmith
• Abstract要約: 我々は、クライアントが隣人のローカル更新を中央パラメータサーバ(PS)に中継することで協調する半分散型フェデレーション学習アルゴリズムを提案する。 我々は、これらの平均的な重み付けを適切に最適化し、PSにおけるグローバルアップデートが不偏であることを保証し、PSにおけるグローバルアップデートのばらつきを低減する。
• 参考スコア（独自算出の注目度）: 27.120495678791883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a semi-decentralized federated learning algorithm wherein clients collaborate by relaying their neighbors' local updates to a central parameter server (PS). At every communication round to the PS, each client computes a local consensus of the updates from its neighboring clients and eventually transmits a weighted average of its own update and those of its neighbors to the PS. We appropriately optimize these averaging weights to ensure that the global update at the PS is unbiased and to reduce the variance of the global update at the PS, consequently improving the rate of convergence. Numerical simulations substantiate our theoretical claims and demonstrate settings with intermittent connectivity between the clients and the PS, where our proposed algorithm shows an improved convergence rate and accuracy in comparison with the federated averaging algorithm.
• Abstract（参考訳）: 本稿では、クライアントが隣人のローカル更新を中央パラメータサーバ(PS)に中継することで協調する半分散型フェデレーション学習アルゴリズムを提案する。 PSへの通信ラウンド毎に、各クライアントは近隣のクライアントからの更新の局所的なコンセンサスを計算し、最終的に自身のアップデートと近隣のクライアントの重み付け平均をPSに送信する。 これらの平均化重みを適切に最適化し、psにおけるグローバル更新の偏りをなくし、psにおけるグローバル更新のばらつきを低減し、収束率を向上させる。 数値シミュレーションにより,クライアントとps間の間欠接続を前提とした理論上の主張を検証し,提案手法により平均化アルゴリズムと比較して収束率と精度が向上したことを示す。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Networked Communication for Mean-Field Games with Function Approximation and Empirical Mean-Field Estimation [59.01527054553122]
  分散エージェントは、経験的システムの単一かつ非エポゾディックな実行から平均フィールドゲームにおける平衡を学ぶことができる。 既存の設定に関数近似を導入し,Munchausen Online Mirror Descent 方式で描画する。 また, エージェントが局所的な周辺地域に基づいて, グローバルな経験分布を推定できる新しいアルゴリズムも提供する。
  論文  参考訳（メタデータ） (2024-08-21T13:32:46Z)
• Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates [28.813671194939225]
  完全に分散化された最適化手法は、人気のあるパラメータサーバフレームワークに代わるものとして提唱されている。 本稿では、各労働者が通信する近隣労働者の数を適応的に決定することで、適応的な非同期更新を施した完全に分散化されたアルゴリズムを提案する。 DSGD-AAUは収束の線形高速化を実現し,その有効性を示す。
  論文  参考訳（メタデータ） (2023-06-11T02:08:59Z)
• Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games [63.60117916422867]
  本稿では,対戦型マルチエージェントRLの最も基本的な設定,すなわち2プレーヤゼロサムマルコフゲームに焦点を当てる。 両エージェントから対称更新を施した単一ループポリシー最適化手法を提案し,この手法はエントロピー規則化楽観的乗算重み更新法(OMWU)によって更新される。 我々の収束結果は、最もよく知られた複雑性を改善し、競合するマルコフゲームにおけるポリシー最適化をよりよく理解する。
  論文  参考訳（メタデータ） (2022-10-03T16:05:43Z)
• Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
  フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。 FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。 FLの主な課題の1つは、通信オーバーヘッドである。 本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-05T22:09:21Z)
• Robust Federated Learning with Connectivity Failures: A Semi-Decentralized Framework with Collaborative Relaying [27.120495678791883]
  断続的なクライアント接続は、集中型フェデレーションエッジ学習フレームワークにおける大きな課題の1つです。 協調リレーに基づく半分散型エッジ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-24T01:06:42Z)
• FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning [24.812767482563878]
  フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。 本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
  論文  参考訳（メタデータ） (2021-08-16T02:57:06Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning [102.26119328920547]
  フェデレートラーニング(FL)は、異なるクライアントにわたるデータの均一性のため、最適化の難しい設定である。 本稿では,クライアントのドリフトを緩和し,任意の集中最適化アルゴリズムを適用するアルゴリズムフレームワークであるMimeを提案する。
  論文  参考訳（メタデータ） (2020-08-08T21:55:07Z)
• Multi-Armed Bandit Based Client Scheduling for Federated Learning [91.91224642616882]
  統合学習(FL)は、通信オーバーヘッドの低減やデータのプライバシの保護など、ユビキタスな特性を特徴とする。 FLの各通信ラウンドでは、クライアントは自身のデータに基づいてローカルモデルを更新し、無線チャネル経由でローカル更新をアップロードする。 本研究は、無線チャネルの状態情報やクライアントの統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-07-05T12:32:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。