論文の概要: Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems

• arxiv url: http://arxiv.org/abs/2211.15943v1
• Date: Tue, 29 Nov 2022 05:52:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 17:33:29.131233
• Title: Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems
• Title（参考訳）: 品質制約最適化問題に対する完全確率的信頼関係系列計画法
• Authors: Yuchen Fang, Sen Na, Michael W. Mahoney, Mladen Kolar
• Abstract要約: 非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。 アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を適用できる。
• 参考スコア（独自算出の注目度）: 57.66012930961941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a trust-region stochastic sequential quadratic programming algorithm (TR-StoSQP) to solve nonlinear optimization problems with stochastic objectives and deterministic equality constraints. We consider a fully stochastic setting, where in each iteration a single sample is generated to estimate the objective gradient. The algorithm adaptively selects the trust-region radius and, compared to the existing line-search StoSQP schemes, allows us to employ indefinite Hessian matrices (i.e., Hessians without modification) in SQP subproblems. As a trust-region method for constrained optimization, our algorithm needs to address an infeasibility issue -- the linearized equality constraints and trust-region constraints might lead to infeasible SQP subproblems. In this regard, we propose an \textit{adaptive relaxation technique} to compute the trial step that consists of a normal step and a tangential step. To control the lengths of the two steps, we adaptively decompose the trust-region radius into two segments based on the proportions of the feasibility and optimality residuals to the full KKT residual. The normal step has a closed form, while the tangential step is solved from a trust-region subproblem, to which a solution ensuring the Cauchy reduction is sufficient for our study. We establish the global almost sure convergence guarantee for TR-StoSQP, and illustrate its empirical performance on both a subset of problems in the CUTEst test set and constrained logistic regression problems using data from the LIBSVM collection.
• Abstract（参考訳）: 確率的目的と決定論的等式制約による非線形最適化問題を解くために,信頼領域確率的二次計画アルゴリズム(tr-stosqp)を提案する。 各イテレーションで1つのサンプルを生成して客観的な勾配を推定する、完全に確率的な設定を考える。 アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して、SQPサブプロブレムに不確定なヘッセン行列(すなわち修正なしヘッセン行列)を適用できる。 制約付き最適化のための信頼領域法として、線形化等式制約と信頼領域制約は、実現不可能なSQPサブプロブレムをもたらす可能性がある。 そこで本研究では,通常のステップと接ステップからなる試行ステップを計算するための \textit{adaptive relax technique}を提案する。 両ステップの長さを制御するため,全KKT残差に対する有効性と最適性残差の比率に基づいて,信頼領域半径を2つのセグメントに適応的に分解する。 通常のステップはクローズドな形式を持ち、信頼領域のサブプロブレムから接するステップを解き、コーシーの低減を保証するソリューションが研究に十分である。 我々は, TR-StoSQP の収束保証を大域的に確立し, CUTEst テストセットにおける問題のサブセットと LIBSVM コレクションのデータを用いたロジスティック回帰問題の両方に対する経験的性能を示す。

関連論文リスト

• Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization [39.352542703876104]
  本稿では,非方向および接続ネットワーク上での分散凸複合最適化について考察する。 CTA(Combine-Then-Adapt)に基づく新しい分散アルゴリズムは、非協調的なネットワーク非依存の定数ステップサイズの下で提案される。
  論文  参考訳（メタデータ） (2023-02-07T03:50:38Z)
• Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
  本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。 提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
  論文  参考訳（メタデータ） (2022-10-23T23:23:23Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Inequality Constrained Stochastic Nonlinear Optimization via Active-Set Sequential Quadratic Programming [17.9230793188835]
  客観的・決定論的等式と不等式制約を用いた非線形最適化問題について検討する。 本稿では,有理関数として微分可能な拡張ラグランジアンを用いて,能動型逐次適応型プログラミングアルゴリズムを提案する。 アルゴリズムは、拡張ラグランジアンのパラメータを適応的に選択し、行探索を行い、ステップサイズを決定する。
  論文  参考訳（メタデータ） (2021-09-23T17:12:17Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。 クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• An Adaptive Stochastic Sequential Quadratic Programming with Differentiable Exact Augmented Lagrangians [17.9230793188835]
  本稿では,客観的・決定論的等式を考慮した非線形最適化プログラムの解法について考察する。 本稿では,微分可能な拡張ラグランジアンをメリット関数として用いた逐次二次計画法(SQP)を提案する。 提案アルゴリズムは,行探索手順と1行探索手順を許容する最初のSQPである。
  論文  参考訳（メタデータ） (2021-02-10T08:40:55Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。