論文の概要: Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities

• arxiv url: http://arxiv.org/abs/2601.23034v1
• Date: Fri, 30 Jan 2026 14:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.34545
• Title: Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities
• Title（参考訳）: 確率障壁を破る:変分不等式に対する適応的変分法
• Authors: Yungi Jeong, Takumi Otsuka,
• Abstract要約: 非コン最適化タスクのための新しいアルゴリズムとしてVR-A-A(VarianceReduced-Ascent with Armijo)を提案する。 本手法は,手動学習スケジューリングへの依存度を低減して,限界周期を効果的に抑制し,収束を加速することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic non-convex non-concave optimization, formally characterized as Stochastic Variational Inequalities (SVIs), presents unique challenges due to rotational dynamics and the absence of a global merit function. While adaptive step-size methods (like Armijo line-search) have revolutionized convex minimization, their application to this setting is hindered by the Stochasticity Barrier: the noise in gradient estimation masks the true operator curvature, triggering erroneously large steps that destabilize convergence. In this work, we propose VR-SDA-A (Variance-Reduced Stochastic Descent-Ascent with Armijo), a novel algorithm that integrates recursive momentum (STORM) with a rigorous Same-Batch Curvature Verification mechanism. We introduce a theoretical framework based on a Lyapunov potential tracking the Operator Norm, proving that VR- SDA-A achieves an oracle complexity of O(epsilon -3) for finding an epsilon-stationary point in general Lipschitz continuous operators. This matches the optimal rate for non-convex minimization while uniquely enabling automated step-size adaptation in the saddle-point setting. We validate our approach on canonical rotational benchmarks and non-convex robust regression tasks, demonstrating that our method effectively suppresses limit cycles and accelerates convergence with reduced dependence on manual learning rate scheduling.
• Abstract（参考訳）: 確率的非凸非凸最適化は、公式には確率的変分不等式 (SVIs) として特徴づけられ、回転力学と大域的有益関数の欠如による固有の問題を示す。 適応的なステップサイズ法(Armijo line-searchなど)は凸最小化に革命をもたらしたが、この設定へのそれらの適用は確率障壁によって妨げられている: 勾配推定のノイズは真の作用素曲率を覆い、誤って収束を不安定にする大きなステップを引き起こす。 本研究は,再帰運動量(STORM)と厳密な同値バッチ曲率検証機構を組み合わせた新しいアルゴリズムであるVR-SDA-A(Variance-Reduced Stochastic Descent-Ascent with Armijo)を提案する。 演算子ノルムを追跡するリアプノフポテンシャルに基づく理論的枠組みを導入し,VR-SDA-Aが一般リプシッツ連続作用素においてエプシロン定常点を求めるためのO(epsilon -3)のオラクル複雑性を達成できることを証明した。 これは、非凸最小化の最適速度と一致し、サドルポイント設定における自動ステップサイズ適応を一意に実現する。 本手法が限界サイクルを効果的に抑制し,手動学習率スケジューリングへの依存を減らすことで収束を促進できることを実証し,正準回転ベンチマークと非凸頑健な回帰タスクに対するアプローチを検証する。

関連論文リスト

• JAWS: Enhancing Long-term Rollout of Neural Operators via Spatially-Adaptive Jacobian Regularization [0.0]
  Jacobian-Adaptive Weighting for Stability (JAWS)は、これらの制限を軽減するために設計された確率的正規化戦略である。 空間的不確実性を伴う最大Aポストエリオーリ(MAP)推定として演算子学習をフレーミングすることにより、JAWSは局所的な物理的複雑さに基づいて正規化強度を動的に変調する。 実験により、この空間適応型プリコンディショナーが有効スペクトルプレコンディショナーとして機能し、高周波不安定性を扱う際のベースオペレータの負担を軽減することが示されている。
  論文  参考訳（メタデータ） (2026-03-04T06:15:09Z)
• Derivative-Free Sequential Quadratic Programming for Equality-Constrained Stochastic Optimization [3.2489082010225485]
  我々は、客観的で決定論的な等式制約で非線形最適化問題を解くことを検討する。 本稿では,DF-SSQP法を提案する。 標準仮定では,提案したDF-SSQP法を大域的にほぼ収束させる。
  論文  参考訳（メタデータ） (2025-10-25T23:51:20Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Sample Complexity of Linear Quadratic Regulator Without Initial Stability [7.245261469258501]
  ReINFORCEにインスパイアされ、未知のダイナミクスを持つ線形二次レギュレータ(LQR)問題に対して、新しいリリーディングホライゾンアルゴリズムを導入する。 従来の手法とは異なり、本アルゴリズムはサンプルの複雑さの順序を同じに保ちながら、2点勾配推定に依存することを回避している。
  論文  参考訳（メタデータ） (2025-02-20T02:44:25Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Accelerated and instance-optimal policy evaluation with linear function approximation [17.995515643150657]
  既存のアルゴリズムはこれらの下界の少なくとも1つと一致しない。 我々は,両下界を同時に一致させる高速時間差分アルゴリズムを開発し,インスタンス最適性という強い概念を実現する。
  論文  参考訳（メタデータ） (2021-12-24T17:21:04Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。