論文の概要: Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems

• arxiv url: http://arxiv.org/abs/2212.02724v1
• Date: Tue, 6 Dec 2022 03:25:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 16:13:35.783006
• Title: Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
• Title（参考訳）: 有限サムミニマックス問題に対する分散確率勾配降下上昇法
• Authors: Hongchang Gao
• Abstract要約: 我々は,ミニマックス最適化問題に対する新しい分散降下法を開発した。 前述したように、我々の研究は、有限個のコンケーブ極小最適化問題に対して、そのような複雑さを最初に達成するものである。
• 参考スコア（独自算出の注目度）: 22.988563731766586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minimax optimization problems have attracted significant attention in recent years due to their widespread application in numerous machine learning models. To solve the minimax optimization problem, a wide variety of stochastic optimization methods have been proposed. However, most of them ignore the distributed setting where the training data is distributed on multiple workers. In this paper, we developed a novel decentralized stochastic gradient descent ascent method for the finite-sum minimax optimization problem. In particular, by employing the variance-reduced gradient, our method can achieve $O(\frac{\sqrt{n}\kappa^3}{(1-\lambda)^2\epsilon^2})$ sample complexity and $O(\frac{\kappa^3}{(1-\lambda)^2\epsilon^2})$ communication complexity for the nonconvex-strongly-concave minimax optimization problem. As far as we know, our work is the first one to achieve such theoretical complexities for this kind of problem. At last, we apply our method to optimize the AUC maximization problem and the experimental results confirm the effectiveness of our method.
• Abstract（参考訳）: ミニマックス最適化問題は、多くの機械学習モデルに広く応用されているため、近年注目されている。 ミニマックス最適化問題を解決するために,様々な確率最適化手法が提案されている。 しかし、その多くはトレーニングデータを複数のワーカーに分散する分散設定を無視している。 本稿では,有限サムミニマックス最適化問題に対する分散確率的勾配降下上昇法を開発した。 特に,分散縮小勾配を用いることで,非凸強凹ミニマックス最適化問題に対する通信複雑性を$o(\frac{\sqrt{n}\kappa^3}{(1-\lambda)^2\epsilon^2}) と$o(\frac{\kappa^3}{(1-\lambda)^2\epsilon^2}) を得ることができる。 私たちが知る限り、この種の問題に対してそのような理論的複雑性を達成するのは、私たちの仕事が初めてです。 最後に,本手法を最大化問題の最適化に応用し,本手法の有効性を実験的に検証した。

関連論文リスト

• Solving a Class of Non-Convex Minimax Optimization in Federated Learning [84.98927714326908]
  ミニマックス問題は、機械学習のトレーニングから大規模学習まで、機械学習アプリケーション全体にわたって発生する。 本稿では,非ミニマックス問題 (emphi) に対するアルゴリズムのクラスを提案し,複雑性を$varepsilon-6)$に減らした。 我々は、FedSGDA-Mが$O(kappa2-3)$と$O(kappa2-3)$の最もよく知られた通信量を持つことを示す。
  論文  参考訳（メタデータ） (2023-10-05T15:48:41Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems [39.197569803430646]
  最小限の最適化は、敵対的ネットワーク(GAN)や敵対的トレーニングなど、多くの機械学習タスクにおいて重要な役割を果たす。 近年,ミニマックス問題の解法として多種多様な最適化手法が提案されているが,そのほとんどは分散設定を無視している。
  論文  参考訳（メタデータ） (2023-04-21T11:38:41Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Minimax Optimization: The Case of Convex-Submodular [50.03984152441271]
  ミニマックス問題は連続領域を超えて連続離散領域や完全離散領域にまで拡張される。 連続変数に関して目的が凸であり、離散変数に関して部分モジュラーであるような凸-部分モジュラーミニマックス問題のクラスを導入する。 提案アルゴリズムは反復的であり、離散最適化と連続最適化の両方のツールを組み合わせる。
  論文  参考訳（メタデータ） (2021-11-01T21:06:35Z)
• On Riemannian Gradient-Based Methods for Minimax Problems [24.199289678553896]
  ミニマックス問題を解くためのリーマン的手法のクラスを提案する。 我々はRGDAが$tildeO(kappa4eps-3)$であることを示す。 また、Acc-RSGDAが$tildeO(kappa4eps-3)$に対してより低いサンプル複雑性を実現することも示しています。
  論文  参考訳（メタデータ） (2020-10-13T00:54:00Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。