論文の概要: FedZMG: Efficient Client-Side Optimization in Federated Learning
- arxiv url: http://arxiv.org/abs/2602.18384v1
- Date: Fri, 20 Feb 2026 17:45:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-23 18:01:41.400869
- Title: FedZMG: Efficient Client-Side Optimization in Federated Learning
- Title(参考訳): FedZMG: フェデレートラーニングにおける効率的なクライアントサイド最適化
- Authors: Fotios Zantalis, Evangelos Zervas, Grigorios Koulouras,
- Abstract要約: Federated Zero Mean Gradients (FedZMG) はパラメータフリーのクライアントサイド最適化アルゴリズムである。
FedZMGは局所勾配をゼロ平均超平面に投影し、不均一なデータ分布に固有の「強度」あるいは「バイアス」シフトを効果的に中和する。
- 参考スコア(独自算出の注目度): 0.19116784879310023
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) enables distributed model training on edge devices while preserving data privacy. However, clients tend to have non-Independent and Identically Distributed (non-IID) data, which often leads to client-drift, and therefore diminishing convergence speed and model performance. While adaptive optimizers have been proposed to mitigate these effects, they frequently introduce computational complexity or communication overhead unsuitable for resource-constrained IoT environments. This paper introduces Federated Zero Mean Gradients (FedZMG), a novel, parameter-free, client-side optimization algorithm designed to tackle client-drift by structurally regularizing the optimization space. Advancing the idea of Gradient Centralization, FedZMG projects local gradients onto a zero-mean hyperplane, effectively neutralizing the "intensity" or "bias" shifts inherent in heterogeneous data distributions without requiring additional communication or hyperparameter tuning. A theoretical analysis is provided, proving that FedZMG reduces the effective gradient variance and guarantees tighter convergence bounds compared to standard FedAvg. Extensive empirical evaluations on EMNIST, CIFAR100, and Shakespeare datasets demonstrate that FedZMG achieves better convergence speed and final validation accuracy compared to the baseline FedAvg and the adaptive optimizer FedAdam, particularly in highly non-IID settings.
- Abstract(参考訳): フェデレートラーニング(FL)は、データプライバシを保持しながらエッジデバイス上での分散モデルトレーニングを可能にする。
しかしながら、クライアントは非独立かつIdentically Distributed(非IID)データを持つ傾向にあり、クライアントのドリフトにつながることが多いため、収束速度とモデルパフォーマンスが低下する。
これらの効果を軽減するためにアダプティブオプティマイザが提案されているが、リソース制約のIoT環境には適さない計算複雑性や通信オーバーヘッドが頻繁に導入されている。
本稿では,パラメータフリーなクライアント側最適化アルゴリズムであるFederated Zero Mean Gradients (FedZMG)を紹介する。
グラディエント中央化(Gradient Centralization)の考え方を推進し、FedZMGは局所勾配をゼロ平均超平面に投影し、「強度」あるいは「バイアス」シフトを効果的に中和する。
理論解析は、FedZMGが有効勾配の分散を減らし、標準FedAvgよりも厳密な収束境界を保証することを証明している。
EMNIST, CIFAR100, シェークスピアデータセットの大規模な実験により, FedZMG はベースラインである FedAvg や適応最適化器である FedAdam と比較して収束速度と最終的な検証精度が向上することを示した。
関連論文リスト
- An Adaptive Differentially Private Federated Learning Framework with Bi-level Optimization [10.218291445871435]
フェデレーション学習は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。
実際の展開では、デバイスの不均一性、非独立性、および同一に分散された(Non-IID)データは、しばしば非常に不安定で偏りのある勾配更新をもたらす。
異種およびプライバシー制約のある環境下でモデル効率を明示的に目標とする適応型微分プライベートなフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-06T16:27:33Z) - Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。
実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。
FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
論文 参考訳(メタデータ) (2026-02-01T05:54:59Z) - CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。
CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
論文 参考訳(メタデータ) (2025-10-23T05:10:06Z) - Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning [25.121545962121907]
大規模言語モデル(LLM)のFedFT(Federated Fine-tuning)は、分散データ環境にモデルを適用するための有望なソリューションとして登場した。
適応型トランスフォーマーブロック拡張機構と動的トレーニング可能なブロック割り当て戦略を統合した新しいFedFTフレームワークであるFedBEを提案する。
その結果、FedBEは、下流タスクの精度を劣化させることなく、微調整後の一般タスクにおける12~74%の精度保持と1.9~3.1xのモデル収束促進比を実現していることがわかった。
論文 参考訳(メタデータ) (2025-06-06T10:59:11Z) - Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文 参考訳(メタデータ) (2025-05-29T19:59:18Z) - Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳(メタデータ) (2025-01-17T04:00:50Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。
本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-27T07:57:04Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2022-12-14T13:57:01Z) - AdaBest: Minimizing Client Drift in Federated Learning via Adaptive Bias
Estimation [12.62716075696359]
フェデレートラーニング(FL)では、多くのクライアントやデバイスが協力して、データを共有せずにモデルをトレーニングします。
このドリフトを推定・除去するために、近年FL最適化に分散低減技術が組み込まれている。
本稿では,クライアント間のドリフトを正確に推定する適応アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-04-27T20:04:24Z) - Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。
本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。
FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
論文 参考訳(メタデータ) (2021-08-20T12:08:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。