論文の概要: TACO: Tackling Over-correction in Federated Learning with Tailored Adaptive Correction
- arxiv url: http://arxiv.org/abs/2504.17528v1
- Date: Thu, 24 Apr 2025 13:16:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.377095
- Title: TACO: Tackling Over-correction in Federated Learning with Tailored Adaptive Correction
- Title（参考訳）: TACO: 適応的補正によるフェデレーション学習における過度な補正に取り組む
- Authors: Weijie Liu, Ziwei Zhan, Carlee Joe-Wong, Edith Ngai, Jingpu Duan, Deke Guo, Xu Chen, Xiaoxi Zhang,
- Abstract要約: エッジクライアントにまたがる非独立で同一に分散された(Non-IID)データは、長い間、連邦学習(FL)トレーニングに重大な課題を提起してきた。
本研究では,クライアント固有の勾配補正とモデルアグリゲーションを実装することで,クライアントのデータの非IID特性に対処する新しいアルゴリズムTACOを提案する。
トレーニング効率を向上させるため、TACOは、最小限のオーバーヘッドと同期モデルパラメータ以外の余分な情報を必要としない、軽量なモデル修正と調整された集約アプローチを展開している。
- 参考スコア（独自算出の注目度）: 24.266135702821334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-independent and identically distributed (Non-IID) data across edge clients have long posed significant challenges to federated learning (FL) training in edge computing environments. Prior works have proposed various methods to mitigate this statistical heterogeneity. While these works can achieve good theoretical performance, in this work we provide the first investigation into a hidden over-correction phenomenon brought by the uniform model correction coefficients across clients adopted by existing methods. Such over-correction could degrade model performance and even cause failures in model convergence. To address this, we propose TACO, a novel algorithm that addresses the non-IID nature of clients' data by implementing fine-grained, client-specific gradient correction and model aggregation, steering local models towards a more accurate global optimum. Moreover, we verify that leading FL algorithms generally have better model accuracy in terms of communication rounds rather than wall-clock time, resulting from their extra computation overhead imposed on clients. To enhance the training efficiency, TACO deploys a lightweight model correction and tailored aggregation approach that requires minimum computation overhead and no extra information beyond the synchronized model parameters. To validate TACO's effectiveness, we present the first FL convergence analysis that reveals the root cause of over-correction. Extensive experiments across various datasets confirm TACO's superior and stable performance in practice.
- Abstract（参考訳）: エッジクライアントにまたがる非独立で同一に分散された(Non-IID)データは、エッジコンピューティング環境での連邦学習(FL)トレーニングに長年、重大な課題を提起してきた。
以前の研究では、この統計的不均一性を緩和する様々な方法が提案されている。
これらの研究は理論性能に優れるが、本研究では、既存の手法で採用されているクライアント間で一様モデル補正係数がもたらす隠れ過補正現象を初めて研究する。
このような過度な補正は、モデル性能を低下させ、モデル収束の失敗を引き起こす可能性がある。
そこで本研究では,クライアント固有の勾配補正とモデルアグリゲーションを実装し,局所モデルをより正確なグローバルな最適化に向けて操ることで,クライアントのデータの非IID特性に対処する新しいアルゴリズムTACOを提案する。
さらに,先行するFLアルゴリズムは,一般に,クライアントに余分な計算オーバヘッドを課すため,ウォールクロック時間よりも通信ラウンドのモデル精度がよいことを検証した。
トレーニング効率を向上させるため、TACOは、最小の計算オーバーヘッドと同期モデルパラメータ以外の余分な情報を必要としない、軽量なモデル修正と調整された集約アプローチを展開している。
TACOの有効性を検証するために,オーバーコレクションの根本原因を明らかにする最初のFL収束解析を提案する。
さまざまなデータセットにわたる大規模な実験により、TACOの実用上、かつ安定した性能が確認されている。
関連論文リスト
- Parameter Tracking in Federated Learning with Adaptive Optimization [14.111863825607001]
フェデレートラーニング(FL)では、モデルトレーニングのパフォーマンスはクライアント間のデータ不均一性に強く影響されます。
GT(Gradient Tracking)は、最近、局所モデル更新に修正項を導入することでこの問題を軽減するソリューションとして登場した。
現在まで、GTはグラディエント(SGD)ベースのDescentトレーニングしか考慮されていないが、現代のFLフレームワークは収束を改善するために適応性を採用する傾向にある。
論文 参考訳（メタデータ） (2025-02-04T21:21:30Z) - Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。
OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文 参考訳（メタデータ） (2025-01-06T21:16:51Z) - Tailored Federated Learning: Leveraging Direction Regulation & Knowledge Distillation [2.1670850691529275]
フェデレーション学習は、医療のようなプライバシーに敏感な領域において、変革的なトレーニングパラダイムとして登場した。
本稿では,モデルデルタ正則化,パーソナライズされたモデル,フェデレーションド・ナレッジ・蒸留,ミックスプールを統合したFL最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-29T15:39:39Z) - FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳（メタデータ） (2024-05-20T06:12:33Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。
本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-27T07:57:04Z) - Federated Learning under Heterogeneous and Correlated Client
Availability [10.05687757555923]
本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。
本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。
実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
論文 参考訳（メタデータ） (2023-01-11T18:38:48Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。