論文の概要: Direct-Search for a Class of Stochastic Min-Max Problems

• arxiv url: http://arxiv.org/abs/2102.11386v1
• Date: Mon, 22 Feb 2021 22:23:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 13:48:55.765203
• Title: Direct-Search for a Class of Stochastic Min-Max Problems
• Title（参考訳）: 確率的min-max問題のクラスに対する直接探索
• Authors: Sotiris Anagnostidis, Aurelien Lucchi, Youssef Diouane
• Abstract要約: オラクルを通してのみ対象物にアクセスする導関数探索法について検討する。 この手法の収束性は軽微な仮定で証明する。 私達の分析は設定のminmax目的のための直接調査方法の収束に取り組む最初のものです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent applications in machine learning have renewed the interest of the community in min-max optimization problems. While gradient-based optimization methods are widely used to solve such problems, there are however many scenarios where these techniques are not well-suited, or even not applicable when the gradient is not accessible. We investigate the use of direct-search methods that belong to a class of derivative-free techniques that only access the objective function through an oracle. In this work, we design a novel algorithm in the context of min-max saddle point games where one sequentially updates the min and the max player. We prove convergence of this algorithm under mild assumptions, where the objective of the max-player satisfies the Polyak-\L{}ojasiewicz (PL) condition, while the min-player is characterized by a nonconvex objective. Our method only assumes dynamically adjusted accurate estimates of the oracle with a fixed probability. To the best of our knowledge, our analysis is the first one to address the convergence of a direct-search method for min-max objectives in a stochastic setting.
• Abstract（参考訳）: 機械学習の最近の適用は、最小最大最適化問題におけるコミュニティの関心を新たにした。 勾配に基づく最適化手法はこのような問題を解決するために広く利用されているが、勾配が利用できない場合にも適用できないシナリオが数多く存在する。 本研究では,オラクルを介して目的関数にのみアクセスする非誘導的手法のクラスに属する直接探索手法の利用を検討する。 本研究では,minとmaxを順次更新するmin-maxサドルポイントゲームにおいて,新たなアルゴリズムを設計する。 我々は、このアルゴリズムの収束を、max-player の目的が polyak-\l{}ojasiewicz (pl) 条件を満たすと仮定し、min-player は非凸目的によって特徴づけられることを証明する。 本手法は,動的な精度の推定値のみを定確率で推定する。 私たちの知る限りでは、確率的な設定でmin-max目的に対する直接探索法の収束に対処するのは、私たちの分析が初めてです。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Smoothed Analysis of Sequential Probability Assignment [16.090378928208885]
  本稿では,情報理論的に最適であるminmaxレートと,最大極大推定器オラクルを含むアルゴリズム削減の枠組みについて検討する。 提案手法は,スムーズな逆数に対する逐次確率割当のためのミニマックスレートから,トランスダクティブ学習のためのミニマックスレートへの汎用的な削減を実現する。
  論文  参考訳（メタデータ） (2023-03-08T19:25:57Z)
• Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
  本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。 我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-01-10T12:18:47Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)
• A H\"olderian backtracking method for min-max and min-min problems [0.0]
  本稿では,凸空間外におけるmin-maxあるいはmin-min問題の解法を提案する。 我々は、学習においてユビキタスな剛性を仮定し、この手法を多くの最適化問題に適用する。
  論文  参考訳（メタデータ） (2020-07-17T08:12:31Z)
• A Convergent and Dimension-Independent Min-Max Optimization Algorithm [32.492526162436405]
  min-playerがパラメータを更新するために使用する分布は、滑らかで非凹凸関数に依存していることを示す。 我々のアルゴリズムは、繰り返しに依存しない多くの反復において近似的な局所平衡に収束する。
  論文  参考訳（メタデータ） (2020-06-22T16:11:30Z)
• Non-convex Min-Max Optimization: Applications, Challenges, and Recent Theoretical Advances [58.54078318403909]
  min-max問題(英: min-max problem)またはサドル点問題(英: saddle point problem)は、サムゲームにおいても研究されるクラス逆問題である。
  論文  参考訳（メタデータ） (2020-06-15T05:33:42Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Solving Non-Convex Non-Differentiable Min-Max Games using Proximal Gradient Method [10.819408603463426]
  ミニマックスサドル点降下器は、機械の傾きと信号処理において幅広い用途に現れる。 単純な多段階LA-Ascentアルゴリズムは文献上の既存アルゴリズムよりも強いことを示す。
  論文  参考訳（メタデータ） (2020-03-18T08:38:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。