論文の概要: Adaptive and Universal Algorithms for Variational Inequalities with Optimal Convergence

• arxiv url: http://arxiv.org/abs/2010.07799v3
• Date: Thu, 26 Aug 2021 20:37:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 05:20:20.296575
• Title: Adaptive and Universal Algorithms for Variational Inequalities with Optimal Convergence
• Title（参考訳）: 最適収束を伴う変分不等式に対する適応的および普遍的アルゴリズム
• Authors: Alina Ene, Huy L. Nguyen
• Abstract要約: 我々は単調演算子を用いた変分不等式の新しい適応アルゴリズムを開発した。 我々のアルゴリズムは未知の問題パラメータに自動的に適応する。 我々のアルゴリズムは普遍的であり、同時に最適な収束率を達成することを示す。
• 参考スコア（独自算出の注目度）: 29.189409618561964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop new adaptive algorithms for variational inequalities with monotone operators, which capture many problems of interest, notably convex optimization and convex-concave saddle point problems. Our algorithms automatically adapt to unknown problem parameters such as the smoothness and the norm of the operator, and the variance of the stochastic evaluation oracle. We show that our algorithms are universal and simultaneously achieve the optimal convergence rates in the non-smooth, smooth, and stochastic settings. The convergence guarantees of our algorithms improve over existing adaptive methods by a $\Omega(\sqrt{\ln T})$ factor, matching the optimal non-adaptive algorithms. Additionally, prior works require that the optimization domain is bounded. In this work, we remove this restriction and give algorithms for unbounded domains that are adaptive and universal. Our general proof techniques can be used for many variants of the algorithm using one or two operator evaluations per iteration. The classical methods based on the ExtraGradient/MirrorProx algorithm require two operator evaluations per iteration, which is the dominant factor in the running time in many settings.
• Abstract（参考訳）: 単調な演算子との変分不等式に対する新しい適応アルゴリズムを開発し、特に凸最適化や凸凹型サドル点問題など多くの問題に注目する。 本アルゴリズムは,演算子の滑らかさやノルム,確率的評価オラクルの分散といった未知の問題パラメータに自動的に適応する。 我々のアルゴリズムは普遍的であり、非滑らかで滑らかで確率的な設定における最適収束率を同時に達成している。 アルゴリズムの収束保証は、最適な非適応アルゴリズムと一致する$\Omega(\sqrt{\ln T})$ factorによって既存の適応手法よりも改善される。 さらに、事前の作業では、最適化領域が境界である必要がある。 この研究では、この制限を取り除き、適応的で普遍的な非有界領域のアルゴリズムを与える。 我々の一般的な証明手法は、反復毎に1つまたは2つの演算子評価を用いてアルゴリズムの多くの変種に利用できる。 ExtraGradient/MirrorProxアルゴリズムに基づく古典的な手法では、イテレーション毎に2つの演算子評価が必要である。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• Performance Evaluation of Evolutionary Algorithms for Analog Integrated Circuit Design Optimisation [0.0]
  本稿では,アナログ回路の自動サイズ化手法について述べる。 探索空間を対象とする探索は粒子生成関数と補修バウンド関数を用いて実装されている。 アルゴリズムは、より良い最適解に収束するように調整され、修正される。
  論文  参考訳（メタデータ） (2023-10-19T03:26:36Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Optimizing Optimizers: Regret-optimal gradient descent algorithms [9.89901717499058]
  我々は,後悔最適アルゴリズムの存在,一意性,一貫性について検討する。 制御問題に対する一階最適条件を提供することにより、後悔最適アルゴリズムはそれらの力学において特定の構造を満たす必要があることを示す。 それらを近似する高速な数値法を提案し,長期的後悔を直接最適化する最適化アルゴリズムを生成する。
  論文  参考訳（メタデータ） (2020-12-31T19:13:53Z)
• Optimal and Practical Algorithms for Smooth and Strongly Convex Decentralized Optimization [21.555331273873175]
  ネットワークのノードにまたがるスムーズな凸関数の和を分散化最小化する作業について検討する。 本稿では,この分散最適化問題に対する2つの新しいアルゴリズムを提案し,複雑性を保証する。
  論文  参考訳（メタデータ） (2020-06-21T11:23:20Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。