論文の概要: On the Stability Connection Between Discrete-Time Algorithms and Their Resolution ODEs: Applications to Min-Max Optimisation
- arxiv url: http://arxiv.org/abs/2603.01430v1
- Date: Mon, 02 Mar 2026 04:22:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.675364
- Title: On the Stability Connection Between Discrete-Time Algorithms and Their Resolution ODEs: Applications to Min-Max Optimisation
- Title（参考訳）: 離散時間アルゴリズムと解法ODEの安定性接続について:最小値最適化への応用
- Authors: Amir Ali Farzin, Yuen-Man Pun, Philipp Braun, Iman Shames,
- Abstract要約: 連続時間力学に対する共通平衡の指数的安定性は、離散時間力学に対する対応する平衡の指数的安定性を意味することを示す。
このフレームワークを用いて、いくつかの顕著なアルゴリズムの極限点特性を解析する。
- 参考スコア（独自算出の注目度）: 1.308951527147782
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This work establishes a rigorous connection between stability properties of discrete-time algorithms (DTAs) and corresponding continuous-time dynamical systems derived through $ O(s^r) $-resolution ordinary differential equations (ODEs). We show that for discrete- and continuous-time dynamical systems satisfying a mild error assumption, exponential stability of a common equilibrium with respect to the continuous time dynamics implies exponential stability of the corresponding equilibrium for the discrete-time dynamics, provided that the step size is chosen sufficiently small. We extend this result to common compact invariant sets. We prove that if an equilibrium is exponentially stable for the $ O(s^r) $-resolution ODE, then it is also exponentially stable for the associated DTA. We apply this framework to analyse the limit point properties of several prominent optimisation algorithms, including Two-Timescale Gradient Descent--Ascent (TT-GDA), Generalised Extragradient (GEG), Two-Timescale Proximal Point (TT-PPM), Damped Newton (DN), Regularised Damped Newton (RDN), and the Jacobian method (JM), by studying their $ O(1) $- and $ O(s) $-resolution ODEs. We show that under a proper choice of hyperparameters, the set of saddle points of the objective function is a subset of the set of exponentially stable equilibria of GEG, TT-PPM, DN, and RDN. We relax the common Hessian invariance assumption through direct analysis of the resolution ODEs, broadening the applicability of our results. Numerical examples illustrate the theoretical findings.
- Abstract（参考訳）: この研究は、離散時間アルゴリズム(DTA)の安定性特性と、$ O(s^r) $- resolution ordinary differential equation (ODE) から導かれる対応する連続時間力学系との間の厳密な接続を確立する。
軽度の誤差仮定を満たす離散時間・連続時間力学系において、連続時間力学に対する共通平衡の指数的安定性は、ステップサイズが十分に小さい場合に、対応する平衡の指数的安定性を示すことを示す。
この結果を共通コンパクト不変集合に拡張する。
我々は、$ O(s^r) $- resolution ODE に対して平衡が指数関数的に安定であれば、関連する DTA に対しても指数関数的に安定であることを示す。
本稿では,2時間勾配Descent-Ascent (TT-GDA), Generalized Extragradient (GEG), Two-Timescale Proximal Point (TT-PPM), Damped Newton (DN), Regularized Damped Newton (RDN), Jacobian Method (JM) など,いくつかの顕著な最適化アルゴリズムの極限点特性の解析を行う。
超パラメータの適切な選択の下では、目的関数のサドル点の集合は、GEG, TT-PPM, DN, RDNの指数的に安定な平衡の集合の部分集合であることを示す。
我々は、解像度ODEの直接解析を通じて共通のヘッセン不変性仮定を緩和し、その結果の適用性を広げる。
数値的な例は理論的な結果を示している。
関連論文リスト
- Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。
時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。
本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
論文 参考訳（メタデータ） (2025-12-21T06:08:22Z) - Convergence of Stochastic Gradient Langevin Dynamics in the Lazy Training Regime [4.297070083645049]
継続的モデルは、ディープラーニングにおける最適化アルゴリズムのトレーニングダイナミクスに関する洞察を提供する。
我々は勾配ランゲヴィンダイナミクス(SGLD)の非漸近収束解析を確立する。
損失関数のヘシアン上の規則性条件下では、乗法および状態依存雑音を持つSGLDは、高い確率でトレーニング過程を通して非退化核を生成することを示す。
論文 参考訳（メタデータ） (2025-10-24T08:28:53Z) - Uniform-in-time convergence bounds for Persistent Contrastive Divergence Algorithms [0.29494468099506904]
非正規化密度の最大最大値推定(MLE)のための持続的コントラスト分散(PCD)の連続時間定式化を提案する。
我々は,PCDとモデルパラメータのMLE解との誤差に対して,明示的な境界を導出することができる。
論文 参考訳（メタデータ） (2025-10-02T12:12:33Z) - Enabling Local Neural Operators to perform Equation-Free System-Level Analysis [1.2468700211588881]
ニューラルネットワーク(NO)は、物理法則を含む計算のための強力なフレームワークを提供する。
我々は、Krylov部分空間における(局所的な)NOと高度な反復的数値法を統合するフレームワークを提案し、実装する。
3つの非線形PDEベンチマークを通して、我々のフレームワークを説明します。
論文 参考訳（メタデータ） (2025-05-05T01:17:18Z) - Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。
本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
論文 参考訳（メタデータ） (2025-04-04T16:10:18Z) - Integral regularization PINNs for evolution equations [4.5305564316166675]
本稿では,損失関数に積分的残差項を組み込むことにより,時間的精度を高める新しい手法を提案する。
この方法は時間間隔全体をより小さな部分間隔に分割し、これらの部分間隔に制約を課し、時間ダイナミクスの分解と相関を改善する。
ベンチマーク問題に関する数値実験により、IR-PINNは、長年の振る舞いを捉えるために、元のPINNや他の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2025-03-31T05:02:59Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-12T16:28:11Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z) - Convergence and sample complexity of gradient methods for the model-free
linear quadratic regulator problem [27.09339991866556]
本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。
我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
論文 参考訳（メタデータ） (2019-12-26T16:56:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。