Fugu-MT 論文翻訳(概要): AFBS:Buffer Gradient Selection in Semi-asynchronous Federated Learning

論文の概要: AFBS:Buffer Gradient Selection in Semi-asynchronous Federated Learning

arxiv url: http://arxiv.org/abs/2506.12754v2
Date: Mon, 23 Jun 2025 05:27:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-24 12:48:19.103435
Title: AFBS:Buffer Gradient Selection in Semi-asynchronous Federated Learning
Title（参考訳）: AFBS:半非同期フェデレーション学習におけるバッファ勾配選択
Authors: Chaoyi Lu, Yiding Sun, Jinqian Chen, Zhichuan Yang, Jiangming Pan, Jihua Zhu,
Abstract要約: 非同期フェデレーション学習(AFL)は、ストラグラーを待つ必要をなくし、トレーニングを加速する。既存のソリューションはこの問題をグラデーションバッファで解決し、セミ非同期フレームワークを形成する。 AFBS (Asynchronous FL Buffer Selection) は,プライバシー保護を確保しつつバッファ内で勾配選択を行うアルゴリズムである。
参考スコア（独自算出の注目度）: 11.478349728899705
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Asynchronous federated learning (AFL) accelerates training by eliminating the need to wait for stragglers, but its asynchronous nature introduces gradient staleness, where outdated gradients degrade performance. Existing solutions address this issue with gradient buffers, forming a semi-asynchronous framework. However, this approach struggles when buffers accumulate numerous stale gradients, as blindly aggregating all gradients can harm training. To address this, we propose AFBS (Asynchronous FL Buffer Selection), the first algorithm to perform gradient selection within buffers while ensuring privacy protection. Specifically, the client sends the random projection encrypted label distribution matrix before training, and the server performs client clustering based on it. During training, server scores and selects gradients within each cluster based on their informational value, discarding low-value gradients to enhance semi-asynchronous federated learning. Extensive experiments in highly heterogeneous system and data environments demonstrate AFBS's superior performance compared to state-of-the-art methods. Notably, on the most challenging task, CIFAR-100, AFBS improves accuracy by up to 4.8% over the previous best algorithm and reduces the time to reach target accuracy by 75%.
Abstract（参考訳）: 非同期連合学習(AFL)は、ストラグラーを待つ必要をなくすことでトレーニングを加速するが、その非同期性は勾配の安定化をもたらし、時代遅れの勾配は性能を低下させる。既存のソリューションはこの問題をグラデーションバッファで解決し、セミ非同期フレームワークを形成する。しかしながら、バッファが多数の静的勾配を蓄積する際には、すべての勾配を盲目的に集約することは訓練を損なう可能性があるため、このアプローチは困難である。そこで本研究では,AFBS (Asynchronous FL Buffer Selection) を提案する。具体的には、クライアントはトレーニング前にランダムなプロジェクション暗号化ラベル分布行列を送信し、サーバはそれに基づいてクライアントクラスタリングを行う。トレーニング中、サーバは情報値に基づいてクラスタ内の勾配をスコアし、選択し、半非同期フェデレーション学習を強化するために低値勾配を破棄する。高度に異質なシステムとデータ環境における大規模な実験は、最先端の手法と比較してAFBSの優れた性能を示している。特に、最も困難なタスクであるCIFAR-100では、AFBSは以前のベストアルゴリズムよりも最大4.8%精度を向上し、目標精度に達するまでの時間を75%削減している。

関連論文リスト

Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文参考訳（メタデータ） (2025-05-29T19:59:18Z)
Buffer-based Gradient Projection for Continual Federated Learning [16.879024856283323]
Fed-A-GEMは、局所バッファサンプルと集約バッファ勾配を利用して破滅的な忘れを緩和する。標準ベンチマークの実験では、さまざまなシナリオで一貫したパフォーマンス改善が示されています。
論文参考訳（メタデータ） (2024-09-03T03:50:19Z)
Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
論文参考訳（メタデータ） (2024-05-16T14:22:49Z)
Provably Personalized and Robust Federated Learning [47.50663360022456]
類似したクライアントのクラスタを識別し、パーソナライズされたモデルパークラスタを訓練する簡単なアルゴリズムを提案する。アルゴリズムの収束率は、クライアントの真の基盤となるクラスタリングを知っていれば得られるものと一致します。
論文参考訳（メタデータ） (2023-06-14T09:37:39Z)
Unbounded Gradients in Federated Leaning with Buffered Asynchronous Aggregation [0.6526824510982799]
textitFedBuffアルゴリズムは、セキュアなアグリゲーションを通じてプライバシを保持しながら非同期更新を可能にする。本稿では,データの不均一性,バッチサイズ,遅延を考慮したアルゴリズムの収束率に関する理論的解析を行う。
論文参考訳（メタデータ） (2022-10-03T18:20:48Z)
Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文参考訳（メタデータ） (2022-09-27T02:12:43Z)
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文参考訳（メタデータ） (2022-07-13T16:58:22Z)
GBA: A Tuning-free Approach to Switch between Synchronous and Asynchronous Training for Recommendation Model [19.65557684234458]
パラメータサーバ(PS)上のグローバルバッチ勾配集約(GBA)を提案する。トークン制御プロセスは、勾配を組み立て、厳密な安定度で勾配を減衰させる。 3つの産業規模のレコメンデーション・タスクの実験から、GBAはスイッチングのための効果的なチューニング不要なアプローチであることが示された。
論文参考訳（メタデータ） (2022-05-23T05:22:42Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Speeding up Heterogeneous Federated Learning with Sequentially Trained Superclients [19.496278017418113]
フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
論文参考訳（メタデータ） (2022-01-26T12:33:23Z)
Sparse Communication for Training Deep Networks [56.441077560085475]
同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
論文参考訳（メタデータ） (2020-09-19T17:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。