論文の概要: The Bias of Nonlinear Two-Time-scale Stochastic Approximation under Constant Step-Sizes
- arxiv url: http://arxiv.org/abs/2609.20409v1
- Date: Thu, 17 Sep 2026 13:54:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.296042
- Title: The Bias of Nonlinear Two-Time-scale Stochastic Approximation under Constant Step-Sizes
- Title（参考訳）: 定数ステップサイズにおける非線形2時間スケール確率近似のバイアス
- Abstract要約: 2時間スケール近似(TTSA)は、強化学習、最適化、制御において結合アルゴリズムを解析するための基本的なツールである。
本稿では,ステップサイズ$gg$の非線形TTSAについて検討する。
標準安定性、正則性、マルコフ雑音仮定の下では、平均二乗誤差と両者の偏りは、その極限平衡付近で上限となる。
- 参考スコア（独自算出の注目度）: 10.495114898741205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Two-timescale stochastic approximation (TTSA) is a fundamental tool for analyzing coupled iterative algorithms in reinforcement learning, optimization, and stochastic control. However, finite-time guarantees for nonlinear two-timescale schemes remain difficult to obtain, especially under constant step-sizes. In this paper, we study nonlinear TTSA with step-sizes $α\ggβ$. Under standard stability, regularity, and Markovian noise assumptions, we upper bound the mean-squared error and the bias of both iterates around their limiting equilibria. Our bounds scale as $O(α+β^2/α^2)$, which we prove to be tight when $β\leα^{3/2}$. The analysis separates the contributions of initial conditions, fast-timescale tracking error, Markovian dependence, and timescale coupling, thereby clarifying the origin of the $β^2/α^2$ term. Our results reveal qualitative differences from the linear TTSA setting previously studied, showing that nonlinear dynamics introduce additional finite-time effects that are absent in the linear case.
- Abstract（参考訳）: 2時間確率近似(TTSA)は、強化学習、最適化、確率制御において結合反復アルゴリズムを解析するための基本的なツールである。
しかし、非線形二時間スケールスキームの有限時間保証は、特に一定のステップサイズで取得することが困難である。
本稿では,ステップサイズ$α\ggβ$の非線形TTSAについて検討する。
標準安定性、正則性、マルコフ雑音仮定の下では、平均二乗誤差と両者の偏りは、その極限平衡付近で上限となる。
私たちの境界は$O(α+β^2/α^2)$とスケールするので、$β\leα^{3/2}$のとき厳密であることが証明される。
この分析は、初期条件、高速な追跡誤差、マルコフ依存、時間スケール結合の寄与を分離し、$β^2/α^2$項の起源を明らかにする。
以上の結果から, 非線形力学は線形の場合に欠落する追加の有限時間効果をもたらすことが示唆された。
関連論文リスト
- Two-Timescale Linear Stochastic Approximation: Constant Stepsizes Go a Long Way [12.331596909999764]
マルコフ過程のレンズを通した等質化スキームについて検討する。
我々は、定段化によって導入された分散とバイアスと同様に、明示的な幾何学的および非漸近収束率を導出する。
論文 参考訳（メタデータ） (2024-10-16T21:49:27Z) - Finite-Time Decoupled Convergence in Nonlinear Two-Time-Scale Stochastic Approximation [26.97172212786727]
非線形二時間スケール近似における有限時間デカップリング収束の可能性について検討する。
ネストされた局所線型性仮定の下では、有限時間非結合収束速度は適切なステップサイズ選択によって達成できる。
論文 参考訳（メタデータ） (2024-01-08T13:44:35Z) - Tight Finite Time Bounds of Two-Time-Scale Linear Stochastic Approximation with Markovian Noise [8.739101659113157]
マルコフ雑音を伴う線形2時間スケールSAの繰り返しに対する誤差の上限を導出する。
広範に研究されている線形2時間スケールSAの特別な例は、Polyak-Ruppert平均値を持つ線形SAである。
論文 参考訳（メタデータ） (2023-12-31T01:30:14Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。
解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
論文 参考訳（メタデータ） (2023-10-28T18:53:41Z) - Sample Complexity Bounds for Two Timescale Value-based Reinforcement
Learning Algorithms [65.09383385484007]
2つの時間スケール近似(SA)は、値に基づく強化学習アルゴリズムで広く使われている。
本稿では,2つの時間スケール線形および非線形TDCとGreedy-GQアルゴリズムの漸近収束率について検討する。
論文 参考訳（メタデータ） (2020-11-10T11:36:30Z) - Finite Time Analysis of Linear Two-timescale Stochastic Approximation
with Markovian Noise [28.891930079358954]
線形2時間スケールSAスキームに対して有限時間解析を行う。
我々の境界はマルコフ音とマルティンゲール音の収束速度に差がないことを示している。
一致した下界を持つ予測誤差の拡張を示す。
論文 参考訳（メタデータ） (2020-02-04T13:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。