論文の概要: Federated Minimax Optimization with Client Heterogeneity

• arxiv url: http://arxiv.org/abs/2302.04249v1
• Date: Wed, 8 Feb 2023 18:33:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 15:06:24.209355
• Title: Federated Minimax Optimization with Client Heterogeneity
• Title（参考訳）: クライアントの不均質性を考慮したフェデレーションミニマックス最適化
• Authors: Pranay Sharma, Rohan Panda, Gauri Joshi
• Abstract要約: ミニマックス計算は、GANのような先進的な近代的応用に注目が集まっている。 そこで我々は,ローカルSGDAのような設定や既存手法を前提とした汎用のミニマックスフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.558008138030845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minimax optimization has seen a surge in interest with the advent of modern applications such as GANs, and it is inherently more challenging than simple minimization. The difficulty is exacerbated by the training data residing at multiple edge devices or \textit{clients}, especially when these clients can have heterogeneous datasets and local computation capabilities. We propose a general federated minimax optimization framework that subsumes such settings and several existing methods like Local SGDA. We show that naive aggregation of heterogeneous local progress results in optimizing a mismatched objective function -- a phenomenon previously observed in standard federated minimization. To fix this problem, we propose normalizing the client updates by the number of local steps undertaken between successive communication rounds. We analyze the convergence of the proposed algorithm for classes of nonconvex-concave and nonconvex-nonconcave functions and characterize the impact of heterogeneous client data, partial client participation, and heterogeneous local computations. Our analysis works under more general assumptions on the intra-client noise and inter-client heterogeneity than so far considered in the literature. For all the function classes considered, we significantly improve the existing computation and communication complexity results. Experimental results support our theoretical claims.
• Abstract（参考訳）: ミニマックス最適化はgansのようなモダンなアプリケーションの出現によって関心が高まり、本質的には単純な最小化よりも困難である。 これらのクライアントがヘテロジニアスなデータセットとローカルな計算能力を持つことができる場合、複数のエッジデバイスに存在するトレーニングデータや \textit{clients} によって困難は悪化する。 そこで我々は,そのような設定とローカルSGDAなどの既存手法を仮定した,汎用的な最小限最適化フレームワークを提案する。 異種局所進行の自然な凝集は, 従来標準フェデレーションの最小化で見られた, 一致した目的関数を最適化する。 この問題を解決するため,連続する通信ラウンド間のローカルステップ数によるクライアント更新の正規化を提案する。 非凸凹関数と非凸凹関数のクラスに対する提案アルゴリズムの収束を解析し、不均一なクライアントデータ、部分的クライアント参加および不均一なローカル計算の影響を特徴づける。 本分析は,これまで文献で考えられてきたよりも,クライアント内ノイズとクライアント間不均一性について,より一般的な仮定のもとに行われる。 検討したすべての関数クラスに対して、既存の計算と通信の複雑さを著しく改善する。 実験結果は理論的な主張を支持する。

関連論文リスト

• Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
  本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。 提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
  論文  参考訳（メタデータ） (2024-06-12T17:53:28Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Federated Minimax Optimization: Improved Convergence Analyses and Algorithms [32.062312674333775]
  我々は、最小限の最適化を考慮し、GANのようなモダンな機械学習アプリケーションの多くを普及させています。 我々は,既存の文献における収束通信の保証を改善する,新しい,より厳密な解析アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-09T16:21:31Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning [24.812767482563878]
  フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。 本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
  論文  参考訳（メタデータ） (2021-08-16T02:57:06Z)
• Efficient Algorithms for Federated Saddle Point Optimization [32.060759921090856]
  我々は,通信制約が主なボトルネックとなるフェデレーション設定において,凸凹型ミニマックス問題を考える。 我々のゴールは、任意の異種性の下でMinibatch Mirror-prox性能を回復しながら、クライアントの類似性の利点を活用できるアルゴリズムを設計することである。
  論文  参考訳（メタデータ） (2021-02-12T02:55:36Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。