Fugu-MT 論文翻訳(概要): Gradient Correction in Federated Learning with Adaptive Optimization

論文の概要: Gradient Correction in Federated Learning with Adaptive Optimization

arxiv url: http://arxiv.org/abs/2502.02727v3
Date: Sun, 18 May 2025 02:48:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 14:57:10.428722
Title: Gradient Correction in Federated Learning with Adaptive Optimization
Title（参考訳）: 適応最適化を用いたフェデレーション学習におけるグラディエント補正
Authors: Evan Chen, Shiqiang Wang, Jianing Zhang, Dong-Jun Han, Chaoyue Liu, Christopher Brinton,
Abstract要約: クライアント-ドリフト補償を適応最適化に組み込む最初のアルゴリズムである tt FAdamGC を提案する。 tt FAdamGCは、様々なレベルのデータの通信とコストにおいて、既存の手法よりも一貫して優れていることを示す。
参考スコア（独自算出の注目度）: 19.93709245766609
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In federated learning (FL), model training performance is strongly impacted by data heterogeneity across clients. Client-drift compensation methods have recently emerged as a solution to this issue, introducing correction terms into local model updates. To date, these methods have only been considered under stochastic gradient descent (SGD)-based model training, while modern FL frameworks also employ adaptive optimizers (e.g., Adam) for improved convergence. However, due to the complex interplay between first and second moments found in most adaptive optimization methods, naively injecting correction terms can lead to performance degradation in heterogeneous settings. In this work, we propose {\tt FAdamGC}, the first algorithm to integrate drift compensation into adaptive federated optimization. The key idea of {\tt FAdamGC} is injecting a pre-estimation correction term that aligns with the moment structure of adaptive methods. We provide a rigorous convergence analysis of our algorithm under non-convex settings, showing that {\tt FAdamGC} results in better rate and milder assumptions than naively porting SGD-based correction algorithms into adaptive optimizers. Our experimental results demonstrate that {\tt FAdamGC} consistently outperform existing methods in total communication and computation cost across varying levels of data heterogeneity, showing the efficacy of correcting gradient information in federated adaptive optimization.
Abstract（参考訳）: フェデレートラーニング(FL)では、モデルトレーニングのパフォーマンスはクライアント間のデータ不均一性によって強く影響を受ける。クライアント-ドリフト補償手法がこの問題の解決策として最近登場し、局所的なモデル更新に修正項を導入している。これまでこれらの手法は確率勾配勾配(SGD)に基づくモデルトレーニングでのみ検討されてきたが、現代のFLフレームワークでは収束性を改善するために適応最適化器(例えばAdam)も採用されている。しかし、ほとんどの適応最適化手法で見られる第1モーメントと第2モーメントの複雑な相互作用により、補正項を鼻で注入すると不均一な設定で性能が低下する可能性がある。本研究では、ドリフト補償を適応的フェデレーション最適化に統合する最初のアルゴリズムである {\tt FAdamGC} を提案する。 FAdamGC {\displaystyle {\tt FAdamGC} の鍵となる考え方は、適応的手法のモーメント構造と整合する事前推定補正項を注入することである。我々は,非凸条件下でのアルゴリズムの厳密な収束解析を行い,SGDに基づく補正アルゴリズムを適応最適化器にネーティブに移植するよりも,より高速で軽度な仮定が得られることを示した。実験結果から,フェデレート適応最適化における勾配情報の補正の有効性を示すとともに,データ不均一性の異なるレベルにおける通信コストと計算コストの総和において,既存の手法を一貫して上回っていることが明らかとなった。

関連論文リスト

TACO: Tackling Over-correction in Federated Learning with Tailored Adaptive Correction [24.266135702821334]
エッジクライアントにまたがる非独立で同一に分散された(Non-IID)データは、長い間、連邦学習(FL)トレーニングに重大な課題を提起してきた。本研究では,クライアント固有の勾配補正とモデルアグリゲーションを実装することで,クライアントのデータの非IID特性に対処する新しいアルゴリズムTACOを提案する。トレーニング効率を向上させるため、TACOは、最小限のオーバーヘッドと同期モデルパラメータ以外の余分な情報を必要としない、軽量なモデル修正と調整された集約アプローチを展開している。
論文参考訳（メタデータ） (2025-04-24T13:16:21Z)
Architect Your Landscape Approach (AYLA) for Optimizations in Deep Learning [0.0]
グラディエントDescent(DSG)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。本稿では適応性と効率性を向上する新しい最適化手法であるAYLAを紹介する。
論文参考訳（メタデータ） (2025-04-02T16:31:39Z)
Feasible Learning [78.6167929413604]
本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
論文参考訳（メタデータ） (2025-01-24T20:39:38Z)
Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文参考訳（メタデータ） (2024-10-07T23:14:05Z)
FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
論文参考訳（メタデータ） (2024-07-25T20:02:57Z)
Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
論文参考訳（メタデータ） (2024-05-09T01:40:38Z)
Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文参考訳（メタデータ） (2024-03-01T14:55:22Z)
Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-04T01:47:37Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文参考訳（メタデータ） (2022-07-14T22:46:43Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。