論文の概要: Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems

• arxiv url: http://arxiv.org/abs/2212.02724v3
• Date: Tue, 11 Jun 2024 12:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 01:37:54.372770
• Title: Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
• Title（参考訳）: 有限サム最小値問題に対する分散確率勾配勾配勾配
• Authors: Hongchang Gao,
• Abstract要約: ミニマックス問題は、多くの機械学習モデルに広く応用されているため、近年大きな注目を集めている。 そこで我々は,アセンチュムミニマックス問題に対する分散分散勾配降下法を新たに開発した。 我々の研究は、この種のミニマックス問題に対してそのような理論的複雑さを最初に達成するものである。
• 参考スコア（独自算出の注目度）: 26.676582181833584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minimax optimization problems have attracted significant attention in recent years due to their widespread application in numerous machine learning models. To solve the minimax problem, a wide variety of stochastic optimization methods have been proposed. However, most of them ignore the distributed setting where the training data is distributed on multiple workers. In this paper, we developed a novel decentralized stochastic gradient descent ascent method for the finite-sum minimax problem. In particular, by employing the variance-reduced gradient, our method can achieve $O(\frac{\sqrt{n}\kappa^3}{(1-\lambda)^2\epsilon^2})$ sample complexity and $O(\frac{\kappa^3}{(1-\lambda)^2\epsilon^2})$ communication complexity for the nonconvex-strongly-concave minimax problem. As far as we know, our work is the first one to achieve such theoretical complexities for this kind of minimax problem. At last, we apply our method to AUC maximization, and the experimental results confirm the effectiveness of our method.
• Abstract（参考訳）: 最小限の最適化問題は、多くの機械学習モデルに広く応用されているため、近年、大きな注目を集めている。 ミニマックス問題を解決するために,様々な確率最適化手法が提案されている。 しかし、そのほとんどは、トレーニングデータが複数のワーカーに分散される分散設定を無視している。 本稿では,有限サム最小値問題に対する分散確率勾配勾配昇降法を開発した。 特に、分散還元勾配を用いることで、サンプル複雑性とサンプル複雑性を$O(\frac{\sqrt{n}\kappa^3}{(1-\lambda)^2\epsilon^2})$O(\frac{\kappa^3}{(1-\lambda)^2\epsilon^2})$convex-strongly-concave minimax問題に対する通信複雑性を達成できる。 我々の研究は、我々が知る限り、この種のミニマックス問題の理論的複雑さを最初に達成したものである。 最終的に,本手法をAUCの最大化に適用し,実験結果から本手法の有効性を確認した。

関連論文リスト

• Solving a Class of Non-Convex Minimax Optimization in Federated Learning [84.98927714326908]
  ミニマックス問題は、機械学習のトレーニングから大規模学習まで、機械学習アプリケーション全体にわたって発生する。 本稿では,非ミニマックス問題 (emphi) に対するアルゴリズムのクラスを提案し,複雑性を$varepsilon-6)$に減らした。 我々は、FedSGDA-Mが$O(kappa2-3)$と$O(kappa2-3)$の最もよく知られた通信量を持つことを示す。
  論文  参考訳（メタデータ） (2023-10-05T15:48:41Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems [39.197569803430646]
  最小限の最適化は、敵対的ネットワーク(GAN)や敵対的トレーニングなど、多くの機械学習タスクにおいて重要な役割を果たす。 近年,ミニマックス問題の解法として多種多様な最適化手法が提案されているが,そのほとんどは分散設定を無視している。
  論文  参考訳（メタデータ） (2023-04-21T11:38:41Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Minimax Optimization: The Case of Convex-Submodular [50.03984152441271]
  ミニマックス問題は連続領域を超えて連続離散領域や完全離散領域にまで拡張される。 連続変数に関して目的が凸であり、離散変数に関して部分モジュラーであるような凸-部分モジュラーミニマックス問題のクラスを導入する。 提案アルゴリズムは反復的であり、離散最適化と連続最適化の両方のツールを組み合わせる。
  論文  参考訳（メタデータ） (2021-11-01T21:06:35Z)
• On Riemannian Gradient-Based Methods for Minimax Problems [24.199289678553896]
  ミニマックス問題を解くためのリーマン的手法のクラスを提案する。 我々はRGDAが$tildeO(kappa4eps-3)$であることを示す。 また、Acc-RSGDAが$tildeO(kappa4eps-3)$に対してより低いサンプル複雑性を実現することも示しています。
  論文  参考訳（メタデータ） (2020-10-13T00:54:00Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。