論文の概要: Distributionally Robust Federated Learning with Client Drift Minimization
- arxiv url: http://arxiv.org/abs/2505.15371v1
- Date: Wed, 21 May 2025 11:05:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:59.517079
- Title: Distributionally Robust Federated Learning with Client Drift Minimization
- Title（参考訳）: クライアントドリフト最小化による分散ロバストなフェデレーション学習
- Authors: Mounssif Krouka, Chaouki Ben Issaid, Mehdi Bennis,
- Abstract要約: textitDRDMは分散的に堅牢な最適化フレームワークであり、動的正規化によりクライアントのドリフトを緩和する。
textitDRDMは、最悪のクライアントのパフォーマンスを最大化することを目的とした、min-max最適化問題としてトレーニングをフレーム化している。
実験の結果,textitDRDMは通信ラウンドを減らしながら最悪のテスト精度を著しく向上することがわかった。
- 参考スコア（独自算出の注目度）: 35.08453461129848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) faces critical challenges, particularly in heterogeneous environments where non-independent and identically distributed data across clients can lead to unfair and inefficient model performance. In this work, we introduce \textit{DRDM}, a novel algorithm that addresses these issues by combining a distributionally robust optimization (DRO) framework with dynamic regularization to mitigate client drift. \textit{DRDM} frames the training as a min-max optimization problem aimed at maximizing performance for the worst-case client, thereby promoting robustness and fairness. This robust objective is optimized through an algorithm leveraging dynamic regularization and efficient local updates, which significantly reduces the required number of communication rounds. Moreover, we provide a theoretical convergence analysis for convex smooth objectives under partial participation. Extensive experiments on three benchmark datasets, covering various model architectures and data heterogeneity levels, demonstrate that \textit{DRDM} significantly improves worst-case test accuracy while requiring fewer communication rounds than existing state-of-the-art baselines. Furthermore, we analyze the impact of signal-to-noise ratio (SNR) and bandwidth on the energy consumption of participating clients, demonstrating that the number of local update steps can be adaptively selected to achieve a target worst-case test accuracy with minimal total energy cost across diverse communication environments.
- Abstract（参考訳）: フェデレートラーニング(FL)は、特にクライアント間で非独立で同一に分散されたデータが不公平で非効率なモデルパフォーマンスをもたらす異種環境において、重要な課題に直面します。
本研究では、分散ロバストな最適化(DRO)フレームワークと動的正規化を組み合わせることで、クライアントのドリフトを軽減し、これらの問題に対処する新しいアルゴリズムである「textit{DRDM}」を紹介する。
\textit{DRDM} は、最悪のクライアントのパフォーマンスを最大化することを目的とした min-max 最適化問題としてトレーニングをフレーム化し、堅牢性と公正性を促進する。
このロバストな目的は、動的正則化と効率的なローカル更新を活用するアルゴリズムによって最適化され、必要な通信ラウンドの数を大幅に削減する。
さらに,部分的参加下での凸平滑な目的に対する理論的収束解析を行った。
様々なモデルアーキテクチャとデータ不均一性レベルをカバーする3つのベンチマークデータセットに対する大規模な実験により、‘textit{DRDM} は、既存の最先端ベースラインよりも通信ラウンドを少なくしながら、最悪のケースのテスト精度を大幅に改善することを示した。
さらに,信号対雑音比(SNR)と帯域幅が参加するクライアントのエネルギー消費に与える影響を解析し,様々な通信環境にまたがる全エネルギーコストの最小化を目標とする最悪のテスト精度を達成するために,ローカル更新ステップの数を適応的に選択できることを実証した。
関連論文リスト
- Robust Federated Learning in the Face of Covariate Shift: A Magnitude Pruning with Hybrid Regularization Framework for Enhanced Model Aggregation [1.519321208145928]
Federated Learning(FL)は、共有モデルの共同開発を目指す個人に対して、有望なフレームワークを提供する。
クライアント間のデータの分散の変化は、主に集約プロセスの不安定性によって、FL方法論に大きく影響します。
本稿では,個々のパラメータのプルーニングと正規化技術を組み合わせて,個々のクライアントモデルのロバスト性を向上する新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-19T16:22:37Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳（メタデータ） (2023-05-19T10:47:44Z) - Mobilizing Personalized Federated Learning in Infrastructure-Less and
Heterogeneous Environments via Random Walk Stochastic ADMM [0.14597673707346284]
本稿では,データヘテロジニティを持つ孤立ノードを特徴とする実践シナリオにおいて,フェデレートラーニング(FL)を実装する上での課題について考察する。
これらの課題を克服するために,モビリティとレジリエンスの促進を目的とした,パーソナライズされたFLアプローチを提案する。
我々はRWSADMM(Random Walk Alternating Direction Method of Multipliers)と呼ばれる新しい最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-04-25T03:00:18Z) - Federated Minimax Optimization with Client Heterogeneity [11.558008138030845]
ミニマックス計算は、GANのような先進的な近代的応用に注目が集まっている。
そこで我々は,ローカルSGDAのような設定や既存手法を前提とした汎用のミニマックスフレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-08T18:33:55Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Fair and Consistent Federated Learning [48.19977689926562]
フェデレートラーニング(FL)は、分散データソースから学習する能力に対する関心が高まっている。
本稿では,異なるローカルクライアント間で性能整合性とアルゴリズムフェアネスを協調的に検討するFLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-19T01:56:08Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。