論文の概要: The limits of min-max optimization algorithms: convergence to spurious non-critical sets

• arxiv url: http://arxiv.org/abs/2006.09065v2
• Date: Sun, 14 Feb 2021 21:54:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 20:02:38.041301
• Title: The limits of min-max optimization algorithms: convergence to spurious non-critical sets
• Title（参考訳）: min-max最適化アルゴリズムの限界:スプリアス非臨界集合への収束
• Authors: Ya-Ping Hsieh, Panayotis Mertikopoulos, Volkan Cevher
• Abstract要約: min-max最適化アルゴリズムは周期サイクルや同様の現象が存在するため、はるかに大きな問題に遭遇する。 問題のどの点も引き付けないアルゴリズムが存在することを示す。 ほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほとんどである。
• 参考スコア（独自算出の注目度）: 82.74514886461257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compared to ordinary function minimization problems, min-max optimization algorithms encounter far greater challenges because of the existence of periodic cycles and similar phenomena. Even though some of these behaviors can be overcome in the convex-concave regime, the general case is considerably more difficult. On that account, we take an in-depth look at a comprehensive class of state-of-the art algorithms and prevalent heuristics in non-convex / non-concave problems, and we establish the following general results: a) generically, the algorithms' limit points are contained in the ICT sets of a common, mean-field system; b) the attractors of this system also attract the algorithms in question with arbitrarily high probability; and c) all algorithms avoid the system's unstable sets with probability 1. On the surface, this provides a highly optimistic outlook for min-max algorithms; however, we show that there exist spurious attractors that do not contain any stationary points of the problem under study. In this regard, our work suggests that existing min-max algorithms may be subject to inescapable convergence failures. We complement our theoretical analysis by illustrating such attractors in simple, two-dimensional, almost bilinear problems.
• Abstract（参考訳）: 通常の関数最小化問題と比較して、min-max最適化アルゴリズムは周期周期や同様の現象が存在するため、はるかに大きな課題に直面する。 これらの挙動のいくつかは凸凹法では克服できるが、一般的な場合の方がかなり難しい。 そこで我々は,非凸・非凸問題における最先端アルゴリズムの包括的クラスと一般的なヒューリスティックスを詳細に検討し,以下の一般的な結果を得る。 a) 一般論として,アルゴリズムの極限点は,共通の平均場システムのict集合に含まれる。 b) このシステムの誘引者もまた、任意に高い確率で問題のあるアルゴリズムを引き付ける。 c) 全てのアルゴリズムは確率1のシステムの不安定な集合を避ける。 表面的には、これはmin-maxアルゴリズムの非常に楽観的な展望を提供するが、研究中の問題の静止点を含まない急激な引き付けが存在することを示す。 本研究は,既存の min-max アルゴリズムが収束不能な故障を受ける可能性があることを示唆する。 簡単な2次元、ほぼ双線型問題において、そのような誘引子を照らして理論解析を補完する。

関連論文リスト

• Primal Methods for Variational Inequality Problems with Functional Constraints [25.261426717550293]
  本稿では,関数的制約付き変分不等式問題に対処する手法として,制約付き勾配法(Constrained Gradient Method, CGM)を提案する。 滑らかな制約下での単調作用素による変分不等式問題に対するアルゴリズムの非漸近収束解析を確立する。 提案アルゴリズムは, 単調・強単調両方の演算子問合せにおいて, プロジェクションに基づく手法の複雑さに適合する。
  論文  参考訳（メタデータ） (2024-03-19T16:03:03Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• A Sequential Deep Learning Algorithm for Sampled Mixed-integer Optimisation Problems [0.3867363075280544]
  混合整数最適化問題に対する2つの効率的なアルゴリズムを導入,解析する。 両アルゴリズムが最適解に対して有限時間収束を示すことを示す。 3つの数値実験により,これらのアルゴリズムの有効性を定量的に確立する。
  論文  参考訳（メタデータ） (2023-01-25T17:10:52Z)
• A Constrained Optimization Approach to Bilevel Optimization with Multiple Inner Minima [49.320758794766185]
  そこで本研究では,両レベル問題を等価な制約付き最適化に変換する手法を提案する。 このようなアプローチには、(a)多重内極小問題への対処、(b)ジャコビアン計算のない完全一階効率など、いくつかの利点がある。
  論文  参考訳（メタデータ） (2022-03-01T18:20:01Z)
• Convergence Rates of Two-Time-Scale Gradient Descent-Ascent Dynamics for Solving Nonconvex Min-Max Problems [2.0305676256390934]
  連立勾配降下指数アルゴリズムの連続時間変動の有限時間特性を特徴付ける。 連続時間アルゴリズムの挙動に関する結果は、離散時間アルゴリズムの収束特性を高めるために用いられる。
  論文  参考訳（メタデータ） (2021-12-17T15:51:04Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。