Fugu-MT 論文翻訳(概要): Accurate and Fast Federated Learning via Combinatorial Multi-Armed Bandits

論文の概要: Accurate and Fast Federated Learning via Combinatorial Multi-Armed Bandits

arxiv url: http://arxiv.org/abs/2012.03270v1
Date: Sun, 6 Dec 2020 14:05:14 GMT
ステータス: 処理完了
システム内更新日: 2021-05-21 13:53:06.169700
Title: Accurate and Fast Federated Learning via Combinatorial Multi-Armed Bandits
Title（参考訳）: 組合せ多腕バンディットによる高精度・高速フェデレーション学習
Authors: Taehyeon Kim, Sangmin Bae, Jin-woo Lee, Seyoung Yun
Abstract要約: フェデレートラーニングは、偏りのあるモデル平均化と、クライアントサンプリングにおける事前知識の欠如に関わる。我々は,マルチアームバンディットに基づくクライアントサンプリングを用いて,事前知識を活用することにより,この2つの課題に対処するFedCMという新しいアルゴリズムを提案する。我々は,FedCMの精度と収束率において,最先端のアルゴリズムを最大37.25%,4.17倍に向上したことを示す。
参考スコア（独自算出の注目度）: 11.972842369911872
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning has emerged as an innovative paradigm of collaborative machine learning. Unlike conventional machine learning, a global model is collaboratively learned while data remains distributed over a tremendous number of client devices, thus not compromising user privacy. However, several challenges still remain despite its glowing popularity; above all, the global aggregation in federated learning involves the challenge of biased model averaging and lack of prior knowledge in client sampling, which, in turn, leads to high generalization error and slow convergence rate, respectively. In this work, we propose a novel algorithm called FedCM that addresses the two challenges by utilizing prior knowledge with multi-armed bandit based client sampling and filtering biased models with combinatorial model averaging. Based on extensive evaluations using various algorithms and representative heterogeneous datasets, we showed that FedCM significantly outperformed the state-of-the-art algorithms by up to 37.25% and 4.17 times, respectively, in terms of generalization accuracy and convergence rate.
Abstract（参考訳）: 連合学習は、協調機械学習の革新的なパラダイムとして登場した。従来の機械学習とは異なり、グローバルモデルは協調的に学習され、データは膨大な数のクライアントデバイスに分散されているため、ユーザのプライバシを侵害しない。しかし、フェデレート学習におけるグローバルアグリゲーションには、偏りのあるモデル平均化とクライアントサンプリングにおける事前知識の欠如という課題があり、これはそれぞれ高い一般化誤差と緩やかな収束率をもたらす。本研究では,複数腕のバンディットベースクライアントによる事前知識を活用し,組合せモデル平均化によるバイアスモデル抽出とフィルタリングを行うfeedcmと呼ばれる新しいアルゴリズムを提案する。様々なアルゴリズムと代表的異種データセットを用いた広範囲な評価の結果,feedcmは一般化精度と収束率において,最大37.25%,4.17倍の精度を示した。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler [5.550660753625296]
クロスサイロフェデレーション学習は、ローカルデータセットのプライバシを損なうことなく、AIモデルを協調的にトレーニングする、有望なソリューションを提供する。本稿では,サーバ側で計算パワースケジューラを組み込んだ,半同期型フェデレーション学習アルゴリズムを提案する。上位クライアントでフェデレート学習を行う場合,Fedは他のアルゴリズムよりも高速な収束と精度を実現することを示す。
論文参考訳（メタデータ） (2023-09-26T05:03:13Z)
Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文参考訳（メタデータ） (2023-09-04T10:47:52Z)
FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。 FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
論文参考訳（メタデータ） (2022-11-03T15:48:14Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。上記の2つの課題を同時に解決するための一般的な枠組みを提案する。我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文参考訳（メタデータ） (2022-04-16T08:08:29Z)
Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文参考訳（メタデータ） (2022-01-28T08:42:43Z)
A Federated Learning Aggregation Algorithm for Pervasive Computing: Evaluation and Comparison [0.6299766708197883]
広範コンピューティングは、サービス提供のために、リビングスペースに接続デバイスをインストールすることを促進する。エッジリソースの高度な利用と、エンジニアリングアプリケーションのための機械学習技術の統合だ。本稿では,FedDistと呼ばれる新しいアグリゲーションアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-10-19T19:43:28Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)
Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。