論文の概要: Stationary Bias and Extrapolation in Nonlinear Two-Timescale Stochastic Approximation

• arxiv url: http://arxiv.org/abs/2610.10246v1
• Date: Wed, 07 Oct 2026 15:28:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.993105
• Title: Stationary Bias and Extrapolation in Nonlinear Two-Timescale Stochastic Approximation
• Title（参考訳）: 非線形2時間確率近似における定常バイアスと外挿
• Abstract要約: 定数ステップ近似は一般に時間平均で持続する非ゼロ定常平均誤差を持つ。 遅いステップサイズが速いステップサイズよりもはるかに小さくなるにつれて、誤差境界が均一な1次バイアス展開を導出する。 高速ステップ$$と遅いステップ$varepsilon$の場合、各ステップサイズに線形な条件とともに、混合コントリビューション$varepsilon2/$が現れる。
• 参考スコア（独自算出の注目度）: 1.8620637029128544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constant-step stochastic approximation generally has a nonzero stationary mean error that persists under time averaging. This paper studies that error for nonlinear two-timescale recursions driven by an exogenous finite-state Markov chain. Under stated smoothness assumptions and conditions on the stationary distribution, we derive a first-order bias expansion whose error bound remains uniform as the slow step size becomes much smaller than the fast step size. Fast-manifold coordinates keep the associated covariance equation regular in this limit. For fast step $η$ and slow step $\varepsilon$, the expansion reveals a mixed contribution $\varepsilon^2/η$ alongside terms linear in each step size. This dependence matters for bias reduction: along power-law step-size paths, the bias exponents need not be integers, so Richardson--Romberg extrapolation requires weights matched to the path. An exactly solvable nonlinear Markov example verifies the coefficients. We verify localization for temporal-difference learning and compare finite-run extrapolation at equal update budgets. For finite runs, we bound the initialization error of tail averages on both timescales under an additional coupling assumption. In the special case of additive independent noise, signed third-moment cancellation yields a sharper remainder.
• Abstract（参考訳）: 定段確率近似は一般に時間平均の下で持続する非ゼロ定常平均誤差を持つ。 本稿では, 非線形2時間スケール再帰の誤差を外生的有限状態マルコフ連鎖によって求める。 定常分布の滑らかさの仮定と条件の下で、遅いステップサイズが速いステップサイズよりもはるかに小さくなるにつれて、誤差境界が均一な1階のバイアス展開を導出する。 高速多様体座標は、関連する共分散方程式をこの極限で正則に保つ。 速いステップ $η$ と遅いステップ $\varepsilon$ に対して、拡張は各ステップサイズの項とともに混合寄与 $\varepsilon^2/η$ を明らかにする。 この依存はバイアスの低減に重要である: パワーローのステップサイズパスに沿って、バイアス指数は整数である必要はないので、リチャードソン-ロームバーグ外挿は経路と一致する重みを必要とする。 正確に解ける非線形マルコフの例は係数を検証する。 時間差学習の局所化を検証し、等しい更新予算で有限実行外挿を比較する。 有限実行に対しては、余分な結合仮定の下で、両方の時間スケールにおけるテール平均の初期化誤差を限定する。 追加独立雑音の特別の場合、署名された第3モーメントのキャンセルは、よりシャープな残余をもたらす。

関連論文リスト

• A Single-Loop, Constant-Batch First-Order Penalty Method for Stochastic Bilevel Optimization [66.48718943929202]
  非強凸二値問題の場合、既存の一階法はネストループに依存するのが一般的である。 2つの相補成分を組み合わせたSingle-loop Constant-1次ペナルティ法(ICOS)を提案する。
  論文  参考訳（メタデータ） (2026-10-05T19:26:20Z)
• Two-Timescale Linear Stochastic Approximation: Constant Stepsizes Go a Long Way [12.331596909999764]
  マルコフ過程のレンズを通した等質化スキームについて検討する。 我々は、定段化によって導入された分散とバイアスと同様に、明示的な幾何学的および非漸近収束率を導出する。
  論文  参考訳（メタデータ） (2024-10-16T21:49:27Z)
• Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
  本研究では, 勾配勾配勾配(SGD)を一定のステップサイズで解くことで, 密接な凸と滑らかな問題を解く問題に対処する。 得られた推定子の平均二乗誤差を、反復数$n$に対して拡張する。 我々の分析は、時相マルコフ連鎖と見なされるSGDの特性に依存している。
  論文  参考訳（メタデータ） (2024-10-07T15:02:48Z)
• Sampling and estimation on manifolds using the Langevin diffusion [45.57801520690309]
  離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。 誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
  論文  参考訳（メタデータ） (2023-12-22T18:01:11Z)
• Bias and Extrapolation in Markovian Linear Stochastic Approximation with Constant Stepsizes [9.689344942945652]
  定常的なステップサイズとマルコフデータを持つ線形近似(LSA)を考える。 この極限のバイアスベクトルは、ステップサイズに関して無限級数展開を持つことを示す。 リチャードソン・ロームバーグ外挿法と$mge 2$ stepsizes を用いてバイアスを低減できることが示される。
  論文  参考訳（メタデータ） (2022-10-03T14:11:03Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
  標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。 マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
  論文  参考訳（メタデータ） (2021-12-23T18:47:50Z)
• Sample Complexity Bounds for Two Timescale Value-based Reinforcement Learning Algorithms [65.09383385484007]
  2つの時間スケール近似(SA)は、値に基づく強化学習アルゴリズムで広く使われている。 本稿では,2つの時間スケール線形および非線形TDCとGreedy-GQアルゴリズムの漸近収束率について検討する。
  論文  参考訳（メタデータ） (2020-11-10T11:36:30Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。