論文の概要: Efficient Algorithms for Federated Saddle Point Optimization

• arxiv url: http://arxiv.org/abs/2102.06333v1
• Date: Fri, 12 Feb 2021 02:55:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 12:57:10.613587
• Title: Efficient Algorithms for Federated Saddle Point Optimization
• Title（参考訳）: フェデレートサドル点最適化のための効率的なアルゴリズム
• Authors: Charlie Hou, Kiran K. Thekumparampil, Giulia Fanti, Sewoong Oh
• Abstract要約: 我々は,通信制約が主なボトルネックとなるフェデレーション設定において,凸凹型ミニマックス問題を考える。 我々のゴールは、任意の異種性の下でMinibatch Mirror-prox性能を回復しながら、クライアントの類似性の利点を活用できるアルゴリズムを設計することである。
• 参考スコア（独自算出の注目度）: 32.060759921090856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider strongly convex-concave minimax problems in the federated setting, where the communication constraint is the main bottleneck. When clients are arbitrarily heterogeneous, a simple Minibatch Mirror-prox achieves the best performance. As the clients become more homogeneous, using multiple local gradient updates at the clients significantly improves upon Minibatch Mirror-prox by communicating less frequently. Our goal is to design an algorithm that can harness the benefit of similarity in the clients while recovering the Minibatch Mirror-prox performance under arbitrary heterogeneity (up to log factors). We give the first federated minimax optimization algorithm that achieves this goal. The main idea is to combine (i) SCAFFOLD (an algorithm that performs variance reduction across clients for convex optimization) to erase the worst-case dependency on heterogeneity and (ii) Catalyst (a framework for acceleration based on modifying the objective) to accelerate convergence without amplifying client drift. We prove that this algorithm achieves our goal, and include experiments to validate the theory.
• Abstract（参考訳）: 我々は,通信制約が主なボトルネックとなるフェデレーション設定において,凸凹型ミニマックス問題を考える。 クライアントが任意に異種である場合、シンプルなMinibatch Mirror-proxは最高のパフォーマンスを実現します。 クライアントが均質になるにつれて、クライアントで複数のローカルグラデーション更新を使用することで、Minibatch Mirror-proxの通信頻度が大幅に向上します。 我々のゴールは、任意の異種性(ログファクタまで)下でMinibatch Mirror-proxのパフォーマンスを回復しながら、クライアントの類似性の利点を活用できるアルゴリズムを設計することである。 我々は、この目標を達成する最初のフェデレーションミニマックス最適化アルゴリズムを与える。 第一の考え方は、(i)SCAFFOLD(凸最適化のためにクライアント間で分散還元を行うアルゴリズム)と(ii)Catalyst(目的の変更に基づく加速フレームワーク)を組み合わせて、クライアントのドリフトを増幅することなく収束を加速することである。 このアルゴリズムが我々の目標を達成することを証明し、理論を検証する実験を含む。

関連論文リスト

• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Federated Minimax Optimization with Client Heterogeneity [11.558008138030845]
  ミニマックス計算は、GANのような先進的な近代的応用に注目が集まっている。 そこで我々は,ローカルSGDAのような設定や既存手法を前提とした汎用のミニマックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-08T18:33:55Z)
• Two Losses Are Better Than One: Faster Optimization Using a Cheaper Proxy [6.170898159041277]
  本稿では,関連関数をプロキシとして利用することにより,目的物を計算困難勾配で最小化するアルゴリズムを提案する。 我々のアルゴリズムは、$delta$-smooth目的の勾配降下に一致する速度で収束を保証する。 我々のアルゴリズムは機械学習に多くの可能性があり、合成データ、物理シミュレータ、混合公開データ、プライベートデータなどを活用するための原則化された手段を提供する。
  論文  参考訳（メタデータ） (2023-02-07T15:50:49Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Server-Side Stepsizes and Sampling Without Replacement Provably Help in Federated Optimization [6.935471115003109]
  本稿では,クライアント更新のフェデレーション学習に関する理論的研究を行う。 特に、ローカライズが小さくなると、すべてのクライアントに対してアップデートを行うことができることを証明しています。 また,サーバ側ステップサイズを小さくすることで,クライアントサンプリングのノイズを制御できることも証明した。
  論文  参考訳（メタデータ） (2022-01-26T17:26:25Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning [102.26119328920547]
  フェデレートラーニング(FL)は、異なるクライアントにわたるデータの均一性のため、最適化の難しい設定である。 本稿では,クライアントのドリフトを緩和し,任意の集中最適化アルゴリズムを適用するアルゴリズムフレームワークであるMimeを提案する。
  論文  参考訳（メタデータ） (2020-08-08T21:55:07Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。