論文の概要: On exploration of an interior mirror descent flow for stochastic nonconvex constrained problem
- arxiv url: http://arxiv.org/abs/2507.15264v1
- Date: Mon, 21 Jul 2025 05:58:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.274547
- Title: On exploration of an interior mirror descent flow for stochastic nonconvex constrained problem
- Title（参考訳）: 確率的非凸制約問題に対する内部ミラー降下流の探索
- Authors: Kuangyu Ding, Kim-Chuan Toh,
- Abstract要約: ヘッセン障壁法とミラー降下法は連続流の離散近似として解釈できることを示す。
厳密な相補性条件が成立すれば、これらの急激な定常点を回避できるような2つの十分な条件を提供する。
- 参考スコア（独自算出の注目度）: 3.4376560669160394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study a nonsmooth nonconvex optimization problem defined over nonconvex constraints, where the feasible set is given by the intersection of the closure of an open set and a smooth manifold. By endowing the open set with a Riemannian metric induced by a barrier function, we obtain a Riemannian subgradient flow formulated as a differential inclusion, which remains strictly within the interior of the feasible set. This continuous dynamical system unifies two classes of iterative optimization methods, namely the Hessian barrier method and mirror descent scheme, by revealing that these methods can be interpreted as discrete approximations of the continuous flow. We explore the long-term behavior of the trajectories generated by this dynamical system and show that the existing deficient convergence properties of the Hessian barrier and mirror descent scheme can be unifily and more insightfully interpreted through these of the continuous trajectory. For instance, the notorious spurious stationary points \cite{chen2024spurious} observed in Hessian barrier method and mirror descent scheme are interpreted as stable equilibria of the dynamical system that do not correspond to real stationary points of the original optimization problem. We provide two sufficient condition such that these spurious stationary points can be avoided if the strict complementarity conditions holds. In the absence of these regularity condition, we propose a random perturbation strategy that ensures the trajectory converges (subsequentially) to an approximate stationary point. Building on these insights, we introduce two iterative Riemannian subgradient methods, form of interior point methods, that generalizes the existing Hessian barrier method and mirror descent scheme for solving nonsmooth nonconvex optimization problems.
- Abstract（参考訳）: 非凸制約上で定義される非滑らかな非凸最適化問題について、開集合と滑らかな多様体の閉包の交叉によって実現可能な集合を与える。
開集合に障壁関数によって誘導されるリーマン計量を付与することにより、微分包含として定式化されたリーマン劣次フローを得る。
この連続力学系は、2つの反復最適化法、すなわちヘッセン障壁法とミラー降下法を統一し、これらの方法が連続流の離散近似として解釈できることを明らかにする。
この力学系によって生じる軌道の長期的挙動を考察し、ヘッセン障壁とミラー降下スキームの既存の欠陥収束特性が、連続軌道のこれらを通じて一様かつより洞察的に解釈可能であることを示す。
例えば、ヘッセン障壁法とミラー降下法で観測された悪名高い急激な定常点 \cite{chen2024spurious} は、元の最適化問題の実際の定常点に対応しない力学系の安定平衡として解釈される。
厳密な相補性条件が成立すれば、これらの急激な定常点を回避できるような2つの十分条件を与える。
このような規則性条件がなければ、軌道が(次々に)近似定常点に収束することを保証するランダムな摂動戦略を提案する。
これらの知見に基づいて、非滑らかな非凸最適化問題の解法として、既存のヘッセン障壁法とミラー降下スキームを一般化する2つの反復リーマン下勾配法、内点法の形式を導入する。
関連論文リスト
- Dual Perspectives on Non-Contrastive Self-Supervised Learning [40.79287810164605]
停止勾配と指数移動平均反復手順は、表現の崩壊を避けるために一般的に用いられる。
本発表では、最適化と力学系の2つの理論的視点からこれらの手順を考察する。
論文 参考訳（メタデータ） (2025-06-18T07:46:51Z) - Implicit Regularization of Infinitesimally-perturbed Gradient Descent Toward Low-dimensional Solutions [16.45408984254899]
帰納正規化とは、局所探索アルゴリズムが低次元の解に収束する現象を指す。
暗黙の規則化の成功は、暗黙の領域に近づきながら、厳密なサドル勾配から効率的に逃れる能力にかかっている。
論文 参考訳（メタデータ） (2025-05-22T21:45:27Z) - Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias [55.72269695392027]
本稿では,線形系を解くためにエントロピックミラー降下を適用することに焦点を当てる。
収束解析の主な課題は、領域の非有界性に起因する。
制限的な仮定を課さずにこれを克服するために、Polyak型階段の変種を導入する。
論文 参考訳（メタデータ） (2025-05-05T12:33:18Z) - Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。
本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。
2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
論文 参考訳（メタデータ） (2024-09-24T04:39:47Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - Inexact subgradient methods for semialgebraic functions [18.293072574300798]
機械学習における近似勾配の広範囲な適用を動機として, 永続的な誤差を受ける部分エクサクティヴな加算法について検討する。
我々の分析は、消滅と定常的なステップサイズ体制の両方に対処する。
論文 参考訳（メタデータ） (2024-04-30T12:47:42Z) - Subgradient methods near active manifolds: saddle point avoidance, local
convergence, and asymptotic normality [4.709588811674973]
目的と段階的近似が問題のスムーズな部分構造を完全に表すことを示す。
コーン可逆/分解可能関数や一般半代数問題など、これらの性質が幅広い問題に対して成り立つことを証明している。
正規性の結果は、最も古典的な設定でも新しいように見える。
論文 参考訳（メタデータ） (2021-08-26T15:02:16Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable
Approach for Continuous Markov Random Fields [53.31927549039624]
断片的な離散化は既存の離散化問題と矛盾しないことを示す。
この理論を2つの画像のマッチング問題に適用する。
論文 参考訳（メタデータ） (2021-07-13T12:31:06Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z) - Convergence and sample complexity of gradient methods for the model-free
linear quadratic regulator problem [27.09339991866556]
本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。
我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
論文 参考訳（メタデータ） (2019-12-26T16:56:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。