論文の概要: Finite-Time Decoupled Convergence in Nonlinear Two-Time-Scale Stochastic Approximation

• arxiv url: http://arxiv.org/abs/2401.03893v2
• Date: Thu, 14 Nov 2024 07:14:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:21:59.162236
• Title: Finite-Time Decoupled Convergence in Nonlinear Two-Time-Scale Stochastic Approximation
• Title（参考訳）: 非線形2時間スケール確率近似における有限時間デカップリング収束
• Authors: Yuze Han, Xiang Li, Zhihua Zhang,
• Abstract要約: 非線形二時間スケール近似における有限時間デカップリング収束の可能性について検討する。 ネストされた局所線型性仮定の下では、有限時間非結合収束速度は適切なステップサイズ選択によって達成できる。
• 参考スコア（独自算出の注目度）: 26.97172212786727
• License:
• Abstract: In two-time-scale stochastic approximation (SA), two iterates are updated at varying speeds using different step sizes, with each update influencing the other. Previous studies on linear two-time-scale SA have shown that the convergence rates of the mean-square errors for these updates depend solely on their respective step sizes, a phenomenon termed decoupled convergence. However, achieving decoupled convergence in nonlinear SA remains less understood. Our research investigates the potential for finite-time decoupled convergence in nonlinear two-time-scale SA. We demonstrate that, under a nested local linearity assumption, finite-time decoupled convergence rates can be achieved with suitable step size selection. To derive this result, we conduct a convergence analysis of the matrix cross term between the iterates and leverage fourth-order moment convergence rates to control the higher-order error terms induced by local linearity. Additionally, a numerical example is provided to explore the possible necessity of local linearity for decoupled convergence.
• Abstract（参考訳）: 2段階の確率近似(SA)では、異なるステップサイズで異なる速度で2つのイテレーションが更新され、それぞれが他方に影響を与える。 線形二時間スケールSAに関する以前の研究では、これらの更新における平均二乗誤差の収束速度はそれぞれのステップサイズにのみ依存しており、この現象は分離収束(decoupled convergence)と呼ばれる。 しかし、非線形SAにおける疎収束を達成することは、まだ理解されていない。 本研究では, 非線形2時間スケールSAにおける有限時間デカップリング収束の可能性について検討した。 ネストされた局所線型性仮定の下では、有限時間非結合収束速度は適切なステップサイズ選択によって達成できることを示す。 この結果を導出するために, 反復点間の行列交叉項の収束解析を行い, 4次モーメント収束率を利用して局所線形性により誘導される高次誤差項を制御する。 さらに、非結合収束に対する局所線型性の可能性を探るため、数値的な例が提供される。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
  本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。 異なる時系列変数間の非線形相互作用を含む。 実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
  論文  参考訳（メタデータ） (2023-09-29T11:42:59Z)
• Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties [8.294148737585543]
  本稿では,非二次絶対および非平滑収束ペナルティの存在下での凹凸および切断された量子レグレッションについて検討する。 本稿では,スパース回帰に特化してSIADと呼ばれるペナルティ乗算器が増加する新しいループADMアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-04T21:48:51Z)
• Dynamics of correlation spreading in low-dimensional transverse-field Ising models [0.0]
  1(1D)と2次元(2D)における横場イジングモデルにおける磁気乱れ状態から始まる量子クエンチ後の相関の動的拡散について検討する。 いくつかの手法を用いて縦・横スピン相関関数を等時解析する。 本研究は, 将来のリブ・ロビンソン境界の相関拡散と理論的洗練に関する量子シミュレーション実験に有用なベンチマークを提供する。
  論文  参考訳（メタデータ） (2023-01-04T02:02:21Z)
• Fixed-Time Convergence for a Class of Nonconvex-Nonconcave Min-Max Problems [5.787117733071416]
  min-max問題を解くための固定時間収束サドル点力学系を開発した。 提案手法は他のどの状態法と比較しても高速に実現できる。
  論文  参考訳（メタデータ） (2022-07-26T12:25:05Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)
• Sample Complexity Bounds for Two Timescale Value-based Reinforcement Learning Algorithms [65.09383385484007]
  2つの時間スケール近似(SA)は、値に基づく強化学習アルゴリズムで広く使われている。 本稿では,2つの時間スケール線形および非線形TDCとGreedy-GQアルゴリズムの漸近収束率について検討する。
  論文  参考訳（メタデータ） (2020-11-10T11:36:30Z)
• Nonlinear Two-Time-Scale Stochastic Approximation: Convergence and Finite-Time Performance [1.52292571922932]
  非線形2時間スケール近似の収束と有限時間解析について検討する。 特に,本手法は期待値の収束を$mathcalO (1/k2/3)$で達成し,$k$は反復数であることを示す。
  論文  参考訳（メタデータ） (2020-11-03T17:43:39Z)
• Random extrapolation for primal-dual coordinate descent [61.55967255151027]
  本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。 一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
  論文  参考訳（メタデータ） (2020-07-13T17:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。