論文の概要: Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms

• arxiv url: http://arxiv.org/abs/2010.13112v8
• Date: Fri, 8 Jul 2022 08:37:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 05:15:07.855422
• Title: Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
• Title（参考訳）: 分散サドルポイント問題:低境界, 準最適, ロバストアルゴリズム
• Authors: Aleksandr Beznosikov, Valentin Samokhin, Alexander Gasnikov
• Abstract要約: 本稿では,サドル点問題の分散最適化に着目する。 本論文は,本研究における分散手法の有効性を実験的に示すものである。
• 参考スコア（独自算出の注目度）: 125.99533416395765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focuses on the distributed optimization of stochastic saddle point problems. The first part of the paper is devoted to lower bounds for the cenralized and decentralized distributed methods for smooth (strongly) convex-(strongly) concave saddle-point problems as well as the near-optimal algorithms by which these bounds are achieved. Next, we present a new federated algorithm for cenralized distributed saddle point problems - Extra Step Local SGD. Theoretical analysis of the new method is carried out for strongly convex-strongly concave and non-convex-non-concave problems. In the experimental part of the paper, we show the effectiveness of our method in practice. In particular, we train GANs in a distributed manner.
• Abstract（参考訳）: 本稿では,確率的サドル点問題の分散最適化に着目する。 論文の第1部では, 円錐凸(強固)凹点問題を円滑に(強固に)解決するための, センラル化および分散分散手法の下位境界と, それらの境界が達成される準最適アルゴリズムに焦点をあてる。 次に,分散サドル点問題(Extra Step Local SGD)に対する新たなフェデレーションアルゴリズムを提案する。 強凸強凸および非凸非凸問題に対して, 新手法の理論的解析を行った。 本稿では,本手法の有効性について実験的に述べる。 特に、GANを分散的にトレーニングします。

関連論文リスト

• First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
  本稿では,一階変分法の理論解析のための統一的アプローチを提案する。 提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。 凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
  論文  参考訳（メタデータ） (2023-05-25T11:11:31Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization [39.352542703876104]
  本稿では,非方向および接続ネットワーク上での分散凸複合最適化について考察する。 CTA(Combine-Then-Adapt)に基づく新しい分散アルゴリズムは、非協調的なネットワーク非依存の定数ステップサイズの下で提案される。
  論文  参考訳（メタデータ） (2023-02-07T03:50:38Z)
• First-Order Algorithms for Min-Max Optimization in Geodesic Metric Spaces [93.35384756718868]
  min-maxアルゴリズムはユークリッド設定で解析されている。 指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
  論文  参考訳（メタデータ） (2022-06-04T18:53:44Z)
• A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization [2.9112649816695204]
  実バナッハ空間上の凸凹サドル点問題の第一次原始双対解法について検討する。 我々のフレームワークは一般であり、アルゴリズムにおいてブレグマンの発散を誘導するエントロピーの強い凸性を必要としない。 数値的な応用としては、エントロピー的正則化ワッサーシュタイン・バリセンタ問題や、単純体上の正則化逆問題などが挙げられる。
  論文  参考訳（メタデータ） (2021-12-22T14:47:44Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• On Distributed Non-convex Optimization: Projected Subgradient Method For Weakly Convex Problems in Networks [13.385373310554327]
  Moreau subgradient 法は、機械学習における線形シャープネス問題を収束させる。 理論的保証を伴う下位段階法の分散実装を提案する。
  論文  参考訳（メタデータ） (2020-04-28T01:01:49Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。