Fugu-MT 論文翻訳(概要): Accelerating Federated Learning via Sampling Anchor Clients with Large Batches

論文の概要: Accelerating Federated Learning via Sampling Anchor Clients with Large Batches

arxiv url: http://arxiv.org/abs/2206.05891v1
Date: Mon, 13 Jun 2022 03:08:39 GMT
ステータス: 処理完了
システム内更新日: 2022-06-15 01:41:06.921333
Title: Accelerating Federated Learning via Sampling Anchor Clients with Large Batches
Title（参考訳）: 大規模バッチによるアンカークライアントのサンプリングによるフェデレーション学習の高速化
Authors: Feijie Wu, Song Guo, Zhihao Qu, Shiqi He, Ziming Liu
Abstract要約: 近年のフェデレーション学習における大規模バッチの使用は収束率を向上させたが、小さなバッチを使用する場合に比べて計算オーバーヘッドが増大した。我々は,時間変動確率に基づいて,参加者をアンカーグループとマイナーグループに分離する統合フレームワークFedAMDを提案する。
参考スコア（独自算出の注目度）: 11.315247642497011
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Using large batches in recent federated learning studies has improved convergence rates, but it requires additional computation overhead compared to using small batches. To overcome this limitation, we propose a unified framework FedAMD, which disjoints the participants into anchor and miner groups based on time-varying probabilities. Each client in the anchor group computes the gradient using a large batch, which is regarded as its bullseye. Clients in the miner group perform multiple local updates using serial mini-batches, and each local update is also indirectly regulated by the global target derived from the average of clients' bullseyes. As a result, the miner group follows a near-optimal update towards the global minimizer, adapted to update the global model. Measured by $\epsilon$-approximation, FedAMD achieves a convergence rate of $O(1/\epsilon)$ under non-convex objectives by sampling an anchor with a constant probability. The theoretical result considerably surpasses the state-of-the-art algorithm BVR-L-SGD at $O(1/\epsilon^{3/2})$, while FedAMD reduces at least $O(1/\epsilon)$ communication overhead. Empirical studies on real-world datasets validate the effectiveness of FedAMD and demonstrate the superiority of our proposed algorithm.
Abstract（参考訳）: 最近の連合学習研究で大規模なバッチを使用すると収束率が向上するが、小さなバッチを使うよりも計算のオーバーヘッドが増大する。この制限を克服するため,我々は,参加者を時間変動確率に基づいてアンカーグループとマイナーグループに分離する統一フレームワークfedamdを提案する。アンカーグループの各クライアントは、大きなバッチを使用して勾配を計算する。 minerグループのクライアントは、シリアルミニバッチを使用して複数のローカルアップデートを実行し、各ローカルアップデートは、クライアントのブルジー平均から派生したグローバルターゲットによって間接的に制御される。その結果、マイナーグループは、グローバルモデルを更新するのに適応した、大域的最小化への最適化された更新に従う。 FedAMDは$\epsilon$-approximationによって測定され、一定の確率でアンカーをサンプリングすることで、非凸目的の下で$O(1/\epsilon)$の収束率を達成する。理論的結果は最先端のアルゴリズムであるBVR-L-SGDを$O(1/\epsilon^{3/2})$でかなり上回り、FedAMDは少なくとも$O(1/\epsilon)$通信オーバーヘッドを減らす。実世界のデータセットに関する実証的研究は、FedAMDの有効性を検証し、提案アルゴリズムの優位性を実証する。

関連論文リスト

SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning [15.256986486372407]
フェデレーション学習のスパイクにより、リソースに制約のあるデバイスは、ローカルデータを交換することなく、低消費電力で協調的にトレーニングできる。既存のスパイキングフェデレーション学習手法では、クライアントのアグリゲーションに対してランダムな選択アプローチを採用しており、不偏なクライアントの参加を前提としている。本研究では,グローバルなサンプル分布バランスに寄与するクライアントを鑑定するために,クレジット割当に基づくアクティブクライアント選択戦略であるSFedCAを提案する。
論文参考訳（メタデータ） (2024-06-18T01:56:22Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
FedCME: Client Matching and Classifier Exchanging to Handle Data Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文参考訳（メタデータ） (2023-07-17T15:40:45Z)
Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文参考訳（メタデータ） (2023-04-11T14:51:55Z)
FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
論文参考訳（メタデータ） (2023-02-13T18:55:31Z)
Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文参考訳（メタデータ） (2022-09-30T05:42:56Z)
To Federate or Not To Federate: Incentivizing Client Participation in Federated Learning [22.3101738137465]
フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-30T04:03:31Z)
Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。 FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。 FLの主な課題の1つは、通信オーバーヘッドである。本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
論文参考訳（メタデータ） (2022-05-05T22:09:21Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。