論文の概要: Stochastic Trust-Region Methods for Over-parameterized Models

• arxiv url: http://arxiv.org/abs/2604.14017v1
• Date: Wed, 15 Apr 2026 15:57:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.622757
• Title: Stochastic Trust-Region Methods for Over-parameterized Models
• Title（参考訳）: 過パラメータモデルに対する確率的信頼回帰法
• Authors: Aike Yang, Hao Wang,
• Abstract要約: 本稿では,手動のステップサイズチューニングを排除し,平等に制約された問題に自然に拡張する信頼領域統合フレームワークを提案する。 制約のない最適化のために、1次信頼領域アルゴリズムを開発し、$O(varepsilon-2 log (1/varepsilon)$の1次オラクル複雑性を実現し、$varepsilon$-stationary点を求める。 等式制約問題に対して、ペナルティパラメータが$$$の2次ペナルティに基づく信頼領域法を導入し、反復とオラクルの複雑さを$O()で確立する。
• 参考スコア（独自算出の注目度）: 3.1231899978018824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Under interpolation-type assumptions such as the strong growth condition, stochastic optimization methods can attain convergence rates comparable to full-batch methods, but their performance, particularly for SGD, remains highly sensitive to step-size selection. To address this issue, we propose a unified stochastic trust-region framework that eliminates manual step-size tuning and extends naturally to equality-constrained problems. For unconstrained optimization, we develop a first-order stochastic trust-region algorithm and show that, under the strong growth condition, it achieves an iteration and stochastic first-order oracle complexity of $O(\varepsilon^{-2} \log(1/\varepsilon))$ for finding an $\varepsilon$-stationary point. For equality-constrained problems, we introduce a quadratic-penalty-based stochastic trust-region method with penalty parameter $μ$, and establish an iteration and oracle complexity of $O(\varepsilon^{-4} \log(1/\varepsilon))$ to reach an $\varepsilon$-stationary point of the penalized problem, corresponding to an $O(\varepsilon)$-approximate KKT point of the original constrained problem. Numerical experiments on deep neural network training and orthogonally constrained subspace fitting demonstrate that the proposed methods achieve performance comparable to well-tuned stochastic baselines, while exhibiting stable optimization behavior and effectively handling hard constraints without manual learning-rate scheduling.
• Abstract（参考訳）: 強い成長条件のような補間型仮定の下では、確率的最適化法はフルバッチ法に匹敵する収束率が得られるが、特にSGDの場合、その性能はステップサイズ選択に非常に敏感である。 この問題に対処するために,手動のステップサイズチューニングを排除し,平等に制約された問題に自然に拡張する統合確率的信頼領域フレームワークを提案する。 制約のない最適化のために、一階確率的信頼領域アルゴリズムを開発し、強い成長条件下では、$O(\varepsilon^{-2} \log(1/\varepsilon)$の反復および確率的一階オラクル複雑性を達成できることを示す。 等式制約問題に対しては、ペナルティパラメータが$μ$の2次ペナルティに基づく確率的信頼領域法を導入し、元の制約された問題のKKT点に対する$O(\varepsilon^{-4} \log(1/\varepsilon)$の値に到達するために、O(\varepsilon)$の繰り返しとオラクルの複雑さを確立する。 ディープニューラルネットワークトレーニングと直交制約付きサブスペースフィッティングの数値実験により、提案手法は、安定な最適化挙動を示しながら、手動の学習速度スケジューリングを使わずに、ハード制約を効果的に処理しながら、十分に調整された確率的ベースラインに匹敵する性能を達成することを示した。

関連論文リスト

• First-order methods for stochastic and finite-sum convex optimization with deterministic constraints [1.411894456054802]
  決定論的制約を伴う有限サム凸最適化問題のクラスについて検討する。 本稿では,$epsilon$-$surely feasible optimal$$(epsilon$-SFSO) を求める一階法を提案する。 副生成物として、$epsilon$-SFSOの計算におけるサンプル平均近似法の1次オラクル複雑性結果も導出する。
  論文  参考訳（メタデータ） (2025-06-25T17:26:02Z)
• Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization [68.22688819802622]
  我々は、(ほぼ)$レベルのKKTソリューションを見つけるために、$O(/epsilon)$の最先端の複雑さを新たに提案する。 O(/epsilon)$ の(ほぼ) $ レベルの KKT ソリューションを見つけるための技術的複雑さを適用することで、(ほぼ) $ レベルの KKT ソリューションを見つけるための $O(/epsilon)$ の最先端の複雑さを新たに達成する。
  論文  参考訳（メタデータ） (2025-06-03T06:31:59Z)
• Variance-reduced first-order methods for deterministically constrained stochastic nonconvex optimization with strong convergence guarantees [2.5871382203332907]
  既存の方法は典型的には$epsilon$-stochasticの固定点を見つけることを目的としている。 多くの実践的応用において、制約がほぼ確実に満たされることが重要であり、そのような$epsilon$-stochasticの定常点が望ましくない可能性がある。
  論文  参考訳（メタデータ） (2024-09-16T00:26:42Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。