論文の概要: Online Inference of Constrained Optimization: Primal-Dual Optimality and Sequential Quadratic Programming

• arxiv url: http://arxiv.org/abs/2512.08948v1
• Date: Thu, 27 Nov 2025 06:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 04:16:52.561594
• Title: Online Inference of Constrained Optimization: Primal-Dual Optimality and Sequential Quadratic Programming
• Title（参考訳）: 制約付き最適化のオンライン推論--2次元最適化と逐次準計画法
• Authors: Yihang Gao, Michael K. Ng, Michael W. Mahoney, Sen Na,
• Abstract要約: 等式制約と不等式制約を持つ2次最適化問題の解に対するオンライン統計的推測について検討した。 これらの問題を解決するための逐次プログラミング(SSQP)手法を開発し、目的の近似と制約の線形近似を逐次実行することでステップ方向を計算する。 本手法は,Hjek と Le Cam の意味での最適原始双対制限行列を用いて局所正規性を示す。
• 参考スコア（独自算出の注目度）: 55.848340925419286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study online statistical inference for the solutions of stochastic optimization problems with equality and inequality constraints. Such problems are prevalent in statistics and machine learning, encompassing constrained $M$-estimation, physics-informed models, safe reinforcement learning, and algorithmic fairness. We develop a stochastic sequential quadratic programming (SSQP) method to solve these problems, where the step direction is computed by sequentially performing a quadratic approximation of the objective and a linear approximation of the constraints. Despite having access to unbiased estimates of population gradients, a key challenge in constrained stochastic problems lies in dealing with the bias in the step direction. As such, we apply a momentum-style gradient moving-average technique within SSQP to debias the step. We show that our method achieves global almost-sure convergence and exhibits local asymptotic normality with an optimal primal-dual limiting covariance matrix in the sense of Hájek and Le Cam. In addition, we provide a plug-in covariance matrix estimator for practical inference. To our knowledge, the proposed SSQP method is the first fully online method that attains primal-dual asymptotic minimax optimality without relying on projection operators onto the constraint set, which are generally intractable for nonlinear problems. Through extensive experiments on benchmark nonlinear problems, as well as on constrained generalized linear models and portfolio allocation problems using both synthetic and real data, we demonstrate superior performance of our method, showing that the method and its asymptotic behavior not only solve constrained stochastic problems efficiently but also provide valid and practical online inference in real-world applications.
• Abstract（参考訳）: 等式制約と不等式制約を持つ確率最適化問題の解に対するオンライン統計的推測について検討した。 このような問題は統計学や機械学習でよく見られ、制約付き$M$-estimation、物理インフォームドモデル、安全な強化学習、アルゴリズムフェアネスなどが含まれる。 そこでは, 目的の2次近似と制約の線形近似を逐次実行することにより, ステップ方向を計算する。 人口勾配の偏りのない推定値にアクセスできるにもかかわらず、制約付き確率問題における重要な課題は、ステップ方向のバイアスを扱うことである。 そこで, SSQP内における運動量式勾配移動平均法を適用し, ステップを劣化させる。 本手法は局所漸近正規性を示すとともに,Hájek と Le Cam の意味での最適原始双対制限共分散行列を用いて局所漸近正規性を示すことを示す。 さらに,実用的推論のためのプラグイン共分散行列推定器を提案する。 我々の知る限り、SSQP法は、非線形問題に対して一般的に難解である制約集合への射影演算子に頼ることなく、原始二重漸近最小値の最適性を達成できる最初の完全オンライン手法である。 ベンチマーク非線形問題に対する広範な実験、および合成データと実データの両方を用いた制約付き一般化線形モデルとポートフォリオ割り当て問題を通じて、本手法の優れた性能を示し、本手法とその漸近挙動が制約付き確率的問題を効率的に解くだけでなく、実世界のアプリケーションにおいて有効かつ実用的なオンライン推論を提供することを示した。

関連論文リスト

• Bridging Constraints and Stochasticity: A Fully First-Order Method for Stochastic Bilevel Optimization with Linear Constraints [3.567855687957749]
  この研究は、一階法のみを用いた線形制約付き双レベル最適化に対する最初の有限時間収束保証を提供する。 線形制約、雑音、有限時間解析を両レベル最適化において同時に扱うという前例のない課題に対処する。
  論文  参考訳（メタデータ） (2025-11-13T00:59:20Z)
• Online Statistical Inference of Constrained Stochastic Optimization via Random Scaling [17.9255078650875]
  我々は,Sketched Sequential Quadratic Programming (SSQP) を用いた制約付き最適化のためのオンライン推論手法を開発した。 スケッチされたニュートン法の直接的な一般化として、SSQPは2次モデルと2次モデルと、各ステップにおける線形モデルとの制約とを近似し、結果として生じるサブプロブレムを解くためにスケッチ解法を適用する。 特に,制限分布が未知のパラメータを含まないSSQPイテレートに基づくテスト統計を構築した。
  論文  参考訳（メタデータ） (2025-05-23T19:33:08Z)
• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
  我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。 我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。 車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。