論文の概要: Communication-Efficient Federated Learning with Acceleration of Global
Momentum
- arxiv url: http://arxiv.org/abs/2201.03172v1
- Date: Mon, 10 Jan 2022 05:31:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 14:49:31.573949
- Title: Communication-Efficient Federated Learning with Acceleration of Global
Momentum
- Title(参考訳): グローバルモメンタムの加速によるコミュニケーション効率の高い連合学習
- Authors: Geeho Kim, Jinkyu Kim, Bohyung Han
- Abstract要約: フェデレートラーニングはしばしば、参加するクライアントの不均一な特性のために不安定で遅い収束に悩まされる。
本稿では,サーバ側のアグリゲーションステップの安定性を向上させる新しいフェデレーション学習フレームワークを提案する。
本アルゴリズムは,グローバルな更新情報を,追加の通信コストを伴わない参加者に自然に集約し,伝達する。
- 参考スコア(独自算出の注目度): 46.771459325434535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning often suffers from unstable and slow convergence due to
heterogeneous characteristics of participating clients. Such tendency is
aggravated when the client participation ratio is low since the information
collected from the clients at each round is prone to be more inconsistent. To
tackle the challenge, we propose a novel federated learning framework, which
improves the stability of the server-side aggregation step, which is achieved
by sending the clients an accelerated model estimated with the global gradient
to guide the local gradient updates. Our algorithm naturally aggregates and
conveys the global update information to participants with no additional
communication cost and does not require to store the past models in the
clients. We also regularize local update to further reduce the bias and improve
the stability of local updates. We perform comprehensive empirical studies on
real data under various settings and demonstrate the remarkable performance of
the proposed method in terms of accuracy and communication-efficiency compared
to the state-of-the-art methods, especially with low client participation
rates. Our code is available at https://github.com/ ninigapa0/FedAGM
- Abstract(参考訳): 連合学習はしばしば、参加者の異質な特性のために不安定で収束が遅い。
この傾向は、各ラウンドでクライアントから収集された情報がより矛盾する傾向にあるため、クライアント参加比率が低い場合に増大する。
そこで本研究では,局所的な勾配更新を導くために,グローバル勾配で推定される加速度モデルをクライアントに送付することにより,サーバ側集約ステップの安定性を向上させる,新しいフェデレーション学習フレームワークを提案する。
提案アルゴリズムは,クライアントに過去のモデルを保存する必要がなく,通信コストのかかる参加者に対して,グローバルな更新情報を自然に集約し,伝達する。
また,局所更新を規則化し,バイアスを低減し,局所更新の安定性を向上させる。
各種設定下で実データに関する総合的な実証研究を行い、特にクライアント参加率の低い最先端手法と比較して精度と通信効率の点で提案手法の顕著な性能を示す。
私たちのコードはhttps://github.com/ ninigapa0/FedAGMで利用可能です。
関連論文リスト
- Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳(メタデータ) (2024-02-17T05:22:46Z) - Version age-based client scheduling policy for federated learning [25.835001146856396]
フェデレートラーニング(FL)は、ローカルデータを共有することなく、複数のクライアント間の協調トレーニングを容易にする、プライバシ保護機械学習パラダイムとして登場した。
エッジデバイス能力の進歩にもかかわらず、通信ボトルネックは多数のクライアントを集約する上での課題を示す。
この現象は、FLにおけるストラグラーの致命的な課題と、クライアントスケジューリングポリシーがグローバルモデル収束と安定性に与える影響を提起する。
論文 参考訳(メタデータ) (2024-02-08T04:48:51Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳(メタデータ) (2023-09-14T03:48:27Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - FedCME: Client Matching and Classifier Exchanging to Handle Data
Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。
クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。
実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文 参考訳(メタデータ) (2023-07-17T15:40:45Z) - FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.84926694477846]
フェデレートラーニング(FL)は、分散モデルトレーニングの新たな標準となっている。
本稿では,局所パラメータと大域パラメータの偏差を考慮した適応学習率反復アルゴリズムを提案する。
提案手法は,IIDおよび非IIDデータ分布を持つ実世界のデータセットにおけるモデル精度と収束率の両方において,最先端のFLスキームよりも優れている。
論文 参考訳(メタデータ) (2023-03-28T08:07:28Z) - Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。
FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。
FLの主な課題の1つは、通信オーバーヘッドである。
本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-05T22:09:21Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳(メタデータ) (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。