Fugu-MT 論文翻訳(概要): Communication Efficient Federated Learning with Linear Convergence on Heterogeneous Data

論文の概要: Communication Efficient Federated Learning with Linear Convergence on Heterogeneous Data

arxiv url: http://arxiv.org/abs/2503.15804v1
Date: Thu, 20 Mar 2025 02:43:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-21 22:27:02.155611
Title: Communication Efficient Federated Learning with Linear Convergence on Heterogeneous Data
Title（参考訳）: 不均一データに対する線形収束を用いたコミュニケーション効率のよいフェデレーション学習
Authors: Jie Liu, Yongqiang Wang,
Abstract要約: 我々はFedCETと呼ばれるフェデレーション学習アルゴリズムを提案し、不均一なデータ分布下での正確な収束を保証する。適切な学習率で、FedCETは正確な解に線形収束を保証できることを示す。
参考スコア（独自算出の注目度）: 4.8305656901807055
License:
Abstract: By letting local clients perform multiple local updates before communicating with a parameter server, modern federated learning algorithms such as FedAvg tackle the communication bottleneck problem in distributed learning and have found many successful applications. However, this asynchrony between local updates and communication also leads to a ''client-drift'' problem when the data is heterogeneous (not independent and identically distributed), resulting in errors in the final learning result. In this paper, we propose a federated learning algorithm, which is called FedCET, to ensure accurate convergence even under heterogeneous distributions of data across clients. Inspired by the distributed optimization algorithm NIDS, we use learning rates to weight information received from local clients to eliminate the ''client-drift''. We prove that under appropriate learning rates, FedCET can ensure linear convergence to the exact solution. Different from existing algorithms which have to share both gradients and a drift-correction term to ensure accurate convergence under heterogeneous data distributions, FedCET only shares one variable, which significantly reduces communication overhead. Numerical comparison with existing counterpart algorithms confirms the effectiveness of FedCET.
Abstract（参考訳）: ローカルクライアントがパラメータサーバと通信する前に複数のローカル更新を行うようにすることで、FedAvgのような最新のフェデレーション学習アルゴリズムは分散学習における通信ボトルネック問題に対処し、多くの成功したアプリケーションを発見した。しかし、このローカル更新と通信の非同期性は、データが不均一(独立で同一に分散されていない)であるときに'client-drift'問題を引き起こし、最終的な学習結果にエラーをもたらす。本稿では,FedCETと呼ばれるフェデレーション学習アルゴリズムを提案する。分散最適化アルゴリズムNIDSにインスパイアされた我々は、'client-drift'を除去するために、ローカルクライアントから受信した情報の重み付けに学習率を使用します。適切な学習率で、FedCETは正確な解に線形収束を保証できることを示す。不均一なデータ分布の正確な収束を保証するために、勾配とドリフト補正項の両方を共有する既存のアルゴリズムとは異なり、FedCETは1つの変数しか共有せず、通信オーバーヘッドを大幅に削減する。既存のアルゴリズムとの比較により,FedCETの有効性が確認された。

関連論文リスト

Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文参考訳（メタデータ） (2024-10-09T06:17:16Z)
Distributed Event-Based Learning via ADMM [11.461617927469316]
エージェントがネットワーク上で情報を交換することで目的関数を最小化する,グローバルな分散学習問題を考える。本手法は, (i) 必要なときにのみ通信をトリガーすることでコミュニケーションを大幅に削減し, (ii) 異なるエージェント間でのデータ分配を行う。
論文参考訳（メタデータ） (2024-05-17T08:30:28Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文参考訳（メタデータ） (2022-05-19T03:32:03Z)
OFedQIT: Communication-Efficient Online Federated Learning via Quantization and Intermittent Transmission [7.6058140480517356]
オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
論文参考訳（メタデータ） (2022-05-13T07:46:43Z)
Speeding up Heterogeneous Federated Learning with Sequentially Trained Superclients [19.496278017418113]
フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
論文参考訳（メタデータ） (2022-01-26T12:33:23Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning [24.812767482563878]
フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
論文参考訳（メタデータ） (2021-08-16T02:57:06Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。