論文の概要: Communication-Efficient Federated Group Distributionally Robust Optimization
- arxiv url: http://arxiv.org/abs/2410.06369v2
- Date: Mon, 11 Nov 2024 21:42:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:18:05.993335
- Title: Communication-Efficient Federated Group Distributionally Robust Optimization
- Title（参考訳）: コミュニケーション効率の良いフェデレーション群分散ロバスト最適化
- Authors: Zhishuai Guo, Tianbao Yang,
- Abstract要約: フェデレーション学習は、異なるクライアントにおけるデータボリュームと分散の不均一性のために、課題に直面します。
グループ分散ロバスト最適化(GDRO)に基づいてこの問題に対処するための既存のアプローチは、しばしば高い通信とサンプルの複雑さをもたらす。
本研究では, 通信効率の高いFederated Group Distributionally Robust Optimizationに適したアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 49.14751984342068
- License:
- Abstract: Federated learning faces challenges due to the heterogeneity in data volumes and distributions at different clients, which can compromise model generalization ability to various distributions. Existing approaches to address this issue based on group distributionally robust optimization (GDRO) often lead to high communication and sample complexity. To this end, this work introduces algorithms tailored for communication-efficient Federated Group Distributionally Robust Optimization (FGDRO). Our contributions are threefold: Firstly, we introduce the FGDRO-CVaR algorithm, which optimizes the average top-K losses while reducing communication complexity to $O(1/\epsilon^4)$, where $\epsilon$ denotes the desired precision level. Secondly, our FGDRO-KL algorithm is crafted to optimize KL regularized FGDRO, cutting communication complexity to $O(1/\epsilon^3)$. Lastly, we propose FGDRO-KL-Adam to utilize Adam-type local updates in FGDRO-KL, which not only maintains a communication cost of $O(1/\epsilon^3)$ but also shows potential to surpass SGD-type local steps in practical applications. The effectiveness of our algorithms has been demonstrated on a variety of real-world tasks, including natural language processing and computer vision.
- Abstract（参考訳）: フェデレーション学習は、異なるクライアントにおけるデータボリュームと分散の不均一性により、様々な分散にモデル一般化能力を損なう可能性があるため、課題に直面している。
グループ分散ロバスト最適化(GDRO)に基づいてこの問題に対処するための既存のアプローチは、しばしば高い通信とサンプルの複雑さをもたらす。
この目的のために,FGDRO (Federated Group Distributionally Robust Optimization) に適したアルゴリズムを導入する。
まず、FGDRO-CVaRアルゴリズムを導入し、通信の複雑さを$O(1/\epsilon^4)$に抑えながら、平均的なトップK損失を最適化し、$\epsilon$は所望の精度レベルを示す。
第2に、我々のFGDRO-KLアルゴリズムは、KL正規化FGDROを最適化し、通信複雑性を$O(1/\epsilon^3)$に削減する。
最後に、FGDRO-KLのAdam型ローカルアップデートを利用するFGDRO-KL-Adamを提案する。これは通信コストが$O(1/\epsilon^3)であるだけでなく、実用的な応用においてSGD型ローカルステップを超える可能性がある。
このアルゴリズムの有効性は、自然言語処理やコンピュータビジョンなど、様々な現実世界のタスクで実証されてきた。
関連論文リスト
- FedDRO: Federated Compositional Optimization for Distributionally Robust
Learning [11.70892315284039]
大規模かつ分散的なデータ利用には,効率的なフェデレート学習勾配アルゴリズムの開発が必要である。
FL設定における非線形合成勾配を解くための効率的なFedAvg型アルゴリズムを提案する。
我々の研究の重要な新規性は、大規模なバッチ評価を必要としない解の精度非依存のアルゴリズムを開発することである。
論文 参考訳（メタデータ） (2023-11-21T14:53:39Z) - Scalable Distributional Robustness in a Class of Non Convex Optimization
with Guarantees [7.541571634887807]
分散ロバスト最適化 (DRO) は, サンプルベース問題と同様に, 学習におけるロバスト性を示す。
実世界における課題を解くのに十分ではない混合整数クラスタリングプログラム (MISOCP) を提案する。
論文 参考訳（メタデータ） (2022-05-31T09:07:01Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳（メタデータ） (2022-01-31T03:15:28Z) - On the Convergence of Heterogeneous Federated Learning with Arbitrary
Adaptive Online Model Pruning [15.300983585090794]
任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。
特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。
コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
論文 参考訳（メタデータ） (2022-01-27T20:43:38Z) - Federated Distributionally Robust Optimization for Phase Configuration
of RISs [106.4688072667105]
我々は、教師付き学習環境において、多種多様なRISタイプ上での堅牢な再構成可能なインテリジェントサーフェス(RIS)支援ダウンリンク通信の問題について検討する。
異種RIS設計上のダウンリンク通信を分散的に位相構成を最適化する方法を学ぶ異なる労働者としてモデル化することにより、分散学習問題を解決することができる。
提案アルゴリズムは, 競合するベースラインと比較して, 最悪の分布精度を実現するために, 通信ラウンドを少なくする必要がある。
論文 参考訳（メタデータ） (2021-08-20T07:07:45Z) - A Stochastic Alternating Balance $k$-Means Algorithm for Fair Clustering [0.0]
ローン申請や広告などの人間中心の意思決定システムへのデータクラスタリングの適用において、クラスタリングの結果は異なる人口集団の人々に対して差別される可能性がある。
そこで我々は,$k$-meansの更新とグループスワップ更新を併用した,新たな交代バランス型$k$-means (SAKM) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-29T01:47:15Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。