論文の概要: Online Statistical Inference of Constrained Stochastic Optimization via Random Scaling

• arxiv url: http://arxiv.org/abs/2505.18327v1
• Date: Fri, 23 May 2025 19:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.343085
• Title: Online Statistical Inference of Constrained Stochastic Optimization via Random Scaling
• Title（参考訳）: ランダムスケーリングによる制約付き確率最適化のオンライン統計的推測
• Authors: Xinchen Du, Wanrong Zhu, Wei Biao Wu, Sen Na,
• Abstract要約: 我々は,Sketched Sequential Quadratic Programming (SSQP) を用いた制約付き最適化のためのオンライン推論手法を開発した。 スケッチされたニュートン法の直接的な一般化として、SSQPは2次モデルと2次モデルと、各ステップにおける線形モデルとの制約とを近似し、結果として生じるサブプロブレムを解くためにスケッチ解法を適用する。 特に,制限分布が未知のパラメータを含まないSSQPイテレートに基づくテスト統計を構築した。
• 参考スコア（独自算出の注目度）: 17.9255078650875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constrained stochastic nonlinear optimization problems have attracted significant attention for their ability to model complex real-world scenarios in physics, economics, and biology. As datasets continue to grow, online inference methods have become crucial for enabling real-time decision-making without the need to store historical data. In this work, we develop an online inference procedure for constrained stochastic optimization by leveraging a method called Sketched Stochastic Sequential Quadratic Programming (SSQP). As a direct generalization of sketched Newton methods, SSQP approximates the objective with a quadratic model and the constraints with a linear model at each step, then applies a sketching solver to inexactly solve the resulting subproblem. Building on this design, we propose a new online inference procedure called random scaling. In particular, we construct a test statistic based on SSQP iterates whose limiting distribution is free of any unknown parameters. Compared to existing online inference procedures, our approach offers two key advantages: (i) it enables the construction of asymptotically valid confidence intervals; and (ii) it is matrix-free, i.e. the computation involves only primal-dual SSQP iterates $(\boldsymbol{x}_t, \boldsymbol{\lambda}_t)$ without requiring any matrix inversions. We validate our theory through numerical experiments on nonlinearly constrained regression problems and demonstrate the superior performance of our random scaling method over existing inference procedures.
• Abstract（参考訳）: 制約付き確率的非線形最適化問題は、物理学、経済学、生物学における複雑な現実世界のシナリオをモデル化する能力において大きな注目を集めている。 データセットが成長を続けるにつれて、オンライン推論手法は、過去のデータを保存することなく、リアルタイムな意思決定を可能にするために重要になっている。 本研究では,Sketched Stochastic Sequential Quadratic Programming (SSQP) と呼ばれる手法を利用して,制約付き確率最適化のためのオンライン推論手法を開発する。 スケッチされたニュートン法の直接的な一般化として、SSQPは目的を2次モデルに近似し、各ステップで線形モデルに制約を与える。 この設計に基づいて,ランダムスケーリングと呼ばれる新しいオンライン推論手法を提案する。 特に,制限分布が未知のパラメータを含まないSSQPイテレートに基づくテスト統計を構築した。 既存のオンライン推論手法と比較して、我々のアプローチには2つの大きな利点がある。 一 漸近的に有効な信頼区間の構築を可能にすること、及び (ii)行列なし、すなわち、算術的なSSQPは行列逆変換を必要とせずに$(\boldsymbol{x}_t, \boldsymbol{\lambda}_t)$を反復する。 非線形に制約された回帰問題に関する数値実験により本理論を検証し,既存の推論手法よりもランダムスケーリング法の方が優れた性能を示す。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• A Sequential Quadratic Programming Method with High Probability Complexity Bounds for Nonlinear Equality Constrained Stochastic Optimization [2.3814052021083354]
  制約関数値と導関数は利用可能であると仮定されるが、対象関数とその関連する導関数のプログラミング近似のみを計算することができる。 1次定常性を近似するためにアルゴリズムの反復複雑性に縛られる高い確率が導出される。
  論文  参考訳（メタデータ） (2023-01-01T21:46:50Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。