Fugu-MT 論文翻訳(概要): Decentralized Federated Averaging

論文の概要: Decentralized Federated Averaging

arxiv url: http://arxiv.org/abs/2104.11375v1
Date: Fri, 23 Apr 2021 02:01:30 GMT
ステータス: 処理完了
システム内更新日: 2021-04-26 13:00:01.413414
Title: Decentralized Federated Averaging
Title（参考訳）: 分散フェデレーション平均化
Authors: Tao Sun, Dongsheng Li, Bao Wang
Abstract要約: Federated Averaging (FedAvg) は、膨大な数のクライアントを持つ分散トレーニングのための通信効率のよいアルゴリズムである。我々は,非方向性グラフで接続されたクライアントに実装された運動量付き分散FedAvg(DFedAvgM)について検討する。
参考スコア（独自算出の注目度）: 17.63112147669365
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated averaging (FedAvg) is a communication efficient algorithm for the distributed training with an enormous number of clients. In FedAvg, clients keep their data locally for privacy protection; a central parameter server is used to communicate between clients. This central server distributes the parameters to each client and collects the updated parameters from clients. FedAvg is mostly studied in centralized fashions, which requires massive communication between server and clients in each communication. Moreover, attacking the central server can break the whole system's privacy. In this paper, we study the decentralized FedAvg with momentum (DFedAvgM), which is implemented on clients that are connected by an undirected graph. In DFedAvgM, all clients perform stochastic gradient descent with momentum and communicate with their neighbors only. To further reduce the communication cost, we also consider the quantized DFedAvgM. We prove convergence of the (quantized) DFedAvgM under trivial assumptions; the convergence rate can be improved when the loss function satisfies the P{\L} property. Finally, we numerically verify the efficacy of DFedAvgM.
Abstract（参考訳）: Federated Averaging (FedAvg) は、膨大な数のクライアントを持つ分散トレーニングのための通信効率のよいアルゴリズムである。 FedAvgでは、クライアントはプライバシ保護のためにデータをローカルに保持する。この中央サーバは各クライアントにパラメータを分散し、更新されたパラメータをクライアントから収集する。 FedAvgは主に集中型の方法で研究されており、各通信においてサーバとクライアント間の大規模な通信が必要である。さらに、中央サーバへの攻撃はシステム全体のプライバシを損なう可能性がある。本稿では,非方向グラフで接続されたクライアントに実装された分散化FedAvg with momentum(DFedAvgM)について検討する。 DFedAvgMでは、全てのクライアントは運動量で確率勾配降下を行い、隣人とのみ通信する。通信コストをさらに削減するために、量子化DFedAvgMについても検討する。我々は、自明な仮定の下で(量子化された)dfedavgmの収束を証明し、損失関数が p{\l} 特性を満たす場合に収束率を改善することができる。最後にDFedAvgMの有効性を数値的に検証した。

関連論文リスト

FedAR: Addressing Client Unavailability in Federated Learning with Local Update Approximation and Rectification [8.747592727421596]
フェデレートラーニング(FL)は、クライアントがサーバの調整の下で機械学習モデルを協調的にトレーニングすることを可能にする。 FedARは、すべてのクライアントをグローバルモデルアップデートに参加させて、サーバ上の高品質なグローバルモデルを達成することができます。 FedARはまた、多くのクライアントが存在し、クライアントが利用できないという印象的なパフォーマンスを描いている。
論文参考訳（メタデータ） (2024-07-26T21:56:52Z)
Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification [49.66272783945571]
Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。本稿では,Entity-Wise Top-K Sparsification 戦略に基づく双方向通信効率のFedSを提案する。
論文参考訳（メタデータ） (2024-06-19T05:26:02Z)
Efficient Cross-Domain Federated Learning by MixStyle Approximation [0.3277163122167433]
ハードウェア制約環境におけるクライアント適応のための,プライバシ保護,リソース効率の高いフェデレーション学習の概念を導入する。このアプローチには、ソースデータに対するサーバモデル事前トレーニングと、ローエンドクライアントによるターゲットデータへの微調整が含まれる。予備的な結果は,下流タスクにおける競合性能を維持しながら,計算コストと伝送コストを削減できることを示唆している。
論文参考訳（メタデータ） (2023-12-12T08:33:34Z)
A Multi-Token Coordinate Descent Method for Semi-Decentralized Vertical Federated Learning [24.60603310894048]
コミュニケーション効率は学習における大きな課題である MTCD(Multi-Token Coordinate Descent)を提案する。 MTCDは、半分散垂直連邦設定のための調整可能な通信効率である。
論文参考訳（メタデータ） (2023-09-18T17:59:01Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
論文参考訳（メタデータ） (2023-06-21T17:39:16Z)
DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文参考訳（メタデータ） (2022-06-01T02:20:57Z)
Robust Federated Learning with Connectivity Failures: A Semi-Decentralized Framework with Collaborative Relaying [27.120495678791883]
断続的なクライアント接続は、集中型フェデレーションエッジ学習フレームワークにおける大きな課題の1つです。協調リレーに基づく半分散型エッジ学習フレームワークを提案する。
論文参考訳（メタデータ） (2022-02-24T01:06:42Z)
Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文参考訳（メタデータ） (2021-08-17T17:53:05Z)
DeFed: A Principled Decentralized and Privacy-Preserving Federated Learning Algorithm [10.487593244018933]
フェデレートラーニングは、多数のクライアントが、各クライアントに格納されたトレーニングデータを維持しながら、共有モデル学習に参加することを可能にする。本稿では、従来のフェデレーション平均化(FedAvg)設定における中心的クライアントを除去する、分散型分散学習アルゴリズム(DeFed)を提案する。提案アルゴリズムは, 損失関数が滑らかで, 強凸である場合には, 収束率$O(1/T)$で大域的最小値に達することが証明された。
論文参考訳（メタデータ） (2021-07-15T07:39:19Z)
Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文参考訳（メタデータ） (2020-12-31T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。