論文の概要: TR-SSQP: A Trust-Region Method for Constrained Stochastic Optimization under Heavy-Tailed Noise

• arxiv url: http://arxiv.org/abs/2609.30732v1
• Date: Fri, 25 Sep 2026 03:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.19585
• Title: TR-SSQP: A Trust-Region Method for Constrained Stochastic Optimization under Heavy-Tailed Noise
• Title（参考訳）: TR-SSQP:重音下における制約付き確率最適化のための信頼緩和手法
• Abstract要約: 逐次2次プログラミングフレームワークTR-SSQPにおける新しい信頼領域法を提案する。 本手法では, 最適性と実現可能性のバランスをとるために, 通常のタングル分解を用いる。 我々の知る限りでは、これは重み付き雑音下での制約付き最適化に対する最初の収束結果である。
• 参考スコア（独自算出の注目度）: 7.51257009931438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider stochastic nonlinear optimization problems with deterministic equality constraints. While unconstrained stochastic optimization is well understood, the interplay between optimality and feasibility in the constrained setting poses significant challenges. Moreover, existing theoretical guarantees for constrained stochastic methods predominantly rely on bounded-variance assumptions, leaving the heavy-tailed noise regime largely unexplored. To address this gap, we propose a novel trust-region method within the stochastic sequential quadratic programming framework, termed TR-SSQP. Our method employs a normal-tangential decomposition in the step computation to balance optimality and feasibility. In addition, we incorporate a normalization mechanism in the design of the trust-region radius, together with Polyak momentum for gradient estimation, ensuring stable updates without gradient clipping. When the trust-region radius and the momentum parameter decay at appropriate rates, we establish global almost-sure convergence of the method. To the best of our knowledge, this is the first asymptotic convergence result for constrained stochastic optimization under heavy-tailed noise. We demonstrate the promising performance of the proposed method through extensive numerical experiments, including comparisons among its variants and with existing constrained stochastic optimization methods.
• Abstract（参考訳）: 決定論的等式制約を伴う確率非線形最適化問題を考察する。 制約のない確率的最適化はよく理解されているが、制約された設定における最適性と実現可能性の間の相互作用は重大な課題をもたらす。 さらに、制約付き確率的手法の既存の理論的保証は、主に有界分散の仮定に依存しており、重尾雑音体系はほとんど未探索のままである。 このギャップに対処するために,TR-SSQPと呼ばれる確率的逐次2次プログラミングフレームワークにおける新しい信頼領域法を提案する。 本手法では, ステップ計算において, 最適性と実現可能性のバランスをとるために, 正規接点分解を用いる。 さらに、信頼領域半径の設計に正規化機構を組み込んで、勾配推定のためのPolyak運動量とともに、勾配切り抜きなしで安定した更新を確保する。 信頼領域半径と運動量パラメータが適切な速度で減衰すると、我々はこの手法を大域的にほぼ収束させる。 我々の知る限り、これは重み付き雑音下での制約付き確率最適化のための最初の漸近収束結果である。 提案手法の有望な性能を,その変種と既存の制約付き確率最適化手法との比較を含む広範囲な数値実験により実証する。

関連論文リスト

• Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance [10.36372217426986]
  勾配降下 (SGD) は、大規模統計学習と最適化のための基礎アルゴリズムである。 我々は,SGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発した。
  論文  参考訳（メタデータ） (2026-05-25T16:18:39Z)
• TRSVR: An Adaptive Stochastic Trust-Region Method with Variance Reduction [17.083793956698994]
  本稿では,分散領域(SVRG)を組み込んで収束を加速する非拘束的非還元最適化の信頼手法を提案する。 提案アルゴリズムは勾配情報のみに依存し,関数値の評価を必要としない。
  論文  参考訳（メタデータ） (2026-01-21T04:41:57Z)
• Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients [16.39606116102731]
  適応型ニューラルネットワークを提供するPolyakの消滅は、勾配降下(SGD)にとって有望な選択であることが証明された。 ディープネットワークに関する総合的な実験は、タイトな凸ネットワーク理論を腐食させる。 本研究では、強い仮定を必要とせず、非滑らかな最適化に対して厳密な収束保証を提供する。
  論文  参考訳（メタデータ） (2025-12-02T02:24:32Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Inference on Optimal Dynamic Policies via Softmax Approximation [27.396891119011215]
  最適な治療体制に対するソフトマックスの簡単な近似は、真に最適な治療体制に対する妥当な推測を達成できることを示す。 我々の研究は、半パラメトリック推論と$g$-estimationの技法と適切な配列中央極限定理を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-03-08T07:42:47Z)
• Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems [62.83783246648714]
  目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。 アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
  論文  参考訳（メタデータ） (2022-11-29T05:52:17Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。