論文の概要: Derivative-Free Sequential Quadratic Programming for Equality-Constrained Stochastic Optimization
- arxiv url: http://arxiv.org/abs/2510.22458v1
- Date: Sat, 25 Oct 2025 23:51:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 15:28:15.210145
- Title: Derivative-Free Sequential Quadratic Programming for Equality-Constrained Stochastic Optimization
- Title（参考訳）: Equality-Constrained Stochastic Optimizationのための導出自由系列二次計画法
- Authors: Sen Na,
- Abstract要約: 我々は、客観的で決定論的な等式制約で非線形最適化問題を解くことを検討する。
本稿では,DF-SSQP法を提案する。
標準仮定では,提案したDF-SSQP法を大域的にほぼ収束させる。
- 参考スコア（独自算出の注目度）: 3.2489082010225485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider solving nonlinear optimization problems with a stochastic objective and deterministic equality constraints, assuming that only zero-order information is available for both the objective and constraints, and that the objective is also subject to random sampling noise. Under this setting, we propose a Derivative-Free Stochastic Sequential Quadratic Programming (DF-SSQP) method. Due to the lack of derivative information, we adopt a simultaneous perturbation stochastic approximation (SPSA) technique to randomly estimate the gradients and Hessians of both the objective and constraints. This approach requires only a dimension-independent number of zero-order evaluations -- as few as eight -- at each iteration step. A key distinction between our derivative-free and existing derivative-based SSQP methods lies in the intricate random bias introduced into the gradient and Hessian estimates of the objective and constraints, brought by stochastic zero-order approximations. To address this issue, we introduce an online debiasing technique based on momentum-style estimators that properly aggregate past gradient and Hessian estimates to reduce stochastic noise, while avoiding excessive memory costs via a moving averaging scheme. Under standard assumptions, we establish the global almost-sure convergence of the proposed DF-SSQP method. Notably, we further complement the global analysis with local convergence guarantees by demonstrating that the rescaled iterates exhibit asymptotic normality, with a limiting covariance matrix resembling the minimax optimal covariance achieved by derivative-based methods, albeit larger due to the absence of derivative information. Our local analysis enables online statistical inference of model parameters leveraging DF-SSQP. Numerical experiments on benchmark nonlinear problems demonstrate both the global and local behavior of DF-SSQP.
- Abstract（参考訳）: 目的と制約の両方に対してゼロ次情報のみを利用できると仮定し,確率的目的と決定論的等式制約で非線形最適化問題を解くことを検討する。
そこで本研究では,DF-SSQP法を提案する。
微分情報の欠如により、目的と制約の両方の勾配とヘッセンをランダムに推定するために、同時摂動確率近似(SPSA)技術を採用する。
このアプローチでは、各イテレーションステップにおいて、次元非依存のゼロオーダー評価(わずか8つまで)しか必要としません。
微分自由法と既存の導関数に基づくSSQP法の主な違いは、確率的ゼロ次近似によってもたらされる目的と制約の勾配とヘッセン推定に導入された複雑なランダムバイアスにある。
この問題を解決するために,モーメント式推定器をベースとしたオンラインデバイアス手法を導入し,移動平均化方式により過度なメモリコストを回避しつつ,過去の勾配とヘッセン推定値を適切に集約し,確率的雑音を低減する。
標準仮定では,提案したDF-SSQP法を大域的にほぼ収束させる。
特に, 局所収束保証による大域的解析は, 微分に基づく手法によって達成される極小の最適共分散に類似した制限共分散行列が, 微分情報の欠如により大きいにもかかわらず, 漸近正規性を示すことを示すことによって, さらに補完する。
ローカル分析により,DF-SSQPを利用したモデルパラメータのオンライン統計的推測が可能となった。
ベンチマーク非線形問題に関する数値実験は、DF-SSQPの大域的および局所的な挙動を示す。
関連論文リスト
- Online Inference of Constrained Optimization: Primal-Dual Optimality and Sequential Quadratic Programming [55.848340925419286]
等式制約と不等式制約を持つ2次最適化問題の解に対するオンライン統計的推測について検討した。
これらの問題を解決するための逐次プログラミング(SSQP)手法を開発し、目的の近似と制約の線形近似を逐次実行することでステップ方向を計算する。
本手法は,Hjek と Le Cam の意味での最適原始双対制限行列を用いて局所正規性を示す。
論文 参考訳（メタデータ） (2025-11-27T06:16:17Z) - Bridging Constraints and Stochasticity: A Fully First-Order Method for Stochastic Bilevel Optimization with Linear Constraints [3.567855687957749]
この研究は、一階法のみを用いた線形制約付き双レベル最適化に対する最初の有限時間収束保証を提供する。
線形制約、雑音、有限時間解析を両レベル最適化において同時に扱うという前例のない課題に対処する。
論文 参考訳（メタデータ） (2025-11-13T00:59:20Z) - On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。
本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文 参考訳（メタデータ） (2025-10-22T18:25:43Z) - Federated Learning of Quantile Inference under Local Differential Privacy [2.8462768598083823]
局所微分プライバシー(LDP)下での量子推論の学習について検討する。
本稿では,局所勾配勾配(SGD)に基づく推定器を提案する。
我々は、推定器の正規性と機能中心極限定理を確立する。
論文 参考訳（メタデータ） (2025-09-26T02:56:39Z) - Online Statistical Inference of Constrained Stochastic Optimization via Random Scaling [17.9255078650875]
我々は,Sketched Sequential Quadratic Programming (SSQP) を用いた制約付き最適化のためのオンライン推論手法を開発した。
スケッチされたニュートン法の直接的な一般化として、SSQPは2次モデルと2次モデルと、各ステップにおける線形モデルとの制約とを近似し、結果として生じるサブプロブレムを解くためにスケッチ解法を適用する。
特に,制限分布が未知のパラメータを含まないSSQPイテレートに基づくテスト統計を構築した。
論文 参考訳（メタデータ） (2025-05-23T19:33:08Z) - Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。
本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
論文 参考訳（メタデータ） (2025-04-04T16:10:18Z) - Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。
本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。
2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
論文 参考訳（メタデータ） (2024-09-24T04:39:47Z) - Nonsmooth Implicit Differentiation: Deterministic and Stochastic Convergence Rates [34.81849268839475]
パラメトリックな非微分可縮写像の固定点の微分を効率的に計算する問題について検討する。
我々は、反復的分化(ITD)と近似的暗黙的分化(AID)の2つの一般的なアプローチを分析する。
我々はNSIDの収束率を確立し、スムーズな環境での最良の利用率を含む。
論文 参考訳（メタデータ） (2024-03-18T11:37:53Z) - Fully Stochastic Trust-Region Sequential Quadratic Programming for
Equality-Constrained Optimization Problems [62.83783246648714]
目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。
アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
論文 参考訳（メタデータ） (2022-11-29T05:52:17Z) - Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。
提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
論文 参考訳（メタデータ） (2022-10-23T23:23:23Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳（メタデータ） (2022-01-21T02:46:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。