論文の概要: Convergence of Two-Timescale Markovian Stochastic Approximations with Applications in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.31172v1
• Date: Fri, 29 May 2026 11:37:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.571918
• Title: Convergence of Two-Timescale Markovian Stochastic Approximations with Applications in Reinforcement Learning
• Title（参考訳）: 2時間マルコフ確率近似の収束と強化学習への応用
• Abstract要約: 本研究は,2つのパラメータをそれぞれ高速かつ低速に更新する反復アルゴリズムのクラスである2時間スケール近似(SA)の収束を研究する。
• 参考スコア（独自算出の注目度）: 24.119393507396158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work studies the convergence of two-timescale stochastic approximations (SA), a class of iterative algorithms that update two sets of parameters in fast and slow timescales respectively. Notable examples of two-timescale SA in reinforcement learning (RL) include temporal difference learning with gradient correction (TDC) and actor-critic methods. Previously, the stability (i.e., boundedness) and convergence of two-timescale SA were only established under i.i.d. noise. This work instead establishes the stability and convergence of two-timescale SA under Markovian noise, a setup that is more realistic in RL. Notably, we do not need to use any projection operator and the noise does not need to live in a compact space. Our key technical novelty is to control the fast timescale parameter with the running max of the slow timescale parameter, instead of with the current slow timescale parameter, as most prior works do. As a key application, we establish the first almost sure convergence of TDC with eligibility traces under off-policy learning with linear function approximation.
• Abstract（参考訳）: 本研究は,2段階確率近似 (SA) の収束性について検討し,2つのパラメータをそれぞれ高速・遅い時間スケールで更新する反復アルゴリズムのクラスについて検討した。 強化学習(RL)における2段階SAの顕著な例としては、時間差学習と勾配補正(TDC)、アクター批判法がある。 従来、2時間規模のSAの安定性(すなわち有界性)と収束は、i.d.ノイズの下でのみ確立されていた。 この研究は代わりにマルコフ雑音の下で2時間SAの安定性と収束を確立する。 特に、射影作用素を使う必要はなく、ノイズはコンパクト空間に生きる必要もない。 我々の重要な技術的特徴は、ほとんどの先行する作業のように、現在の遅い時間スケールパラメータではなく、遅い時間スケールパラメータのランニングマックスで高速な時間スケールパラメータを制御することです。 重要な応用として、線形関数近似を用いたオフポリシー学習において、TDCの可視性トレースによるほぼ確実な収束を初めて確立する。

関連論文リスト

• Parallel Continuous-Time Relative Localization with Augmented Clamped Non-Uniform B-Splines [13.396140913210637]
  本稿では,CT-RIO(Continuous-Time Relative-Inertial Odometry framework)を提案する。 C-NUBS(Clarmped Non-Uniform B-splines)をロボットの状態を表すために使用し、クエリ時間遅延を排除した。 常に最先端の手法より優れており、高速動作下では最大60%改善されている。
  論文  参考訳（メタデータ） (2026-02-25T15:23:18Z)
• Non-Asymptotic Guarantees for Average-Reward Q-Learning with Adaptive Stepsizes [4.169915659794567]
  本研究は,非同期実装を用いたQ-Learningの平均逆Q-Learningの最終項目収束に対する最初の有限時間解析である。 私たちが研究しているアルゴリズムの重要な特徴は、各状態-作用ペアの局所クロックとして機能する適応的なステップサイズの使用である。
  論文  参考訳（メタデータ） (2025-04-25T23:41:14Z)
• Decoupled Functional Central Limit Theorems for Two-Time-Scale Stochastic Approximation [28.07082348529648]
  2回のスケール近似では、異なるステップサイズで異なるレートで2つのイテレーションが更新され、それぞれが他方に影響を与える。 以前の研究では、これらの更新に対する誤差項の収束率はそれぞれのステップサイズにのみ依存していることが示されており、これは分離収束と呼ばれる性質である。 我々の研究はこのギャップを埋めるために、2段階のSAに対して分離された機能中心極限定理を確立し、その挙動をより正確に評価する。
  論文  参考訳（メタデータ） (2024-12-22T15:43:01Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• Tight Finite Time Bounds of Two-Time-Scale Linear Stochastic Approximation with Markovian Noise [8.739101659113157]
  マルコフ雑音を伴う線形2時間スケールSAの繰り返しに対する誤差の上限を導出する。 広範に研究されている線形2時間スケールSAの特別な例は、Polyak-Ruppert平均値を持つ線形SAである。
  論文  参考訳（メタデータ） (2023-12-31T01:30:14Z)
• Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
  本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。 不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-28T04:12:56Z)
• Parameter-free Gradient Temporal Difference Learning [3.553493344868414]
  強化学習のためのグラデーションに基づく時間差アルゴリズムを開発。 当社のアルゴリズムは線形時間で動作し、GTD2のものを$log$ファクタまで一致させる高確率収束を保証します。 本実験は,本手法が完全に調整されたベースラインに対して高い予測性能を保ちながら,チューニングを一切行わないことを示す。
  論文  参考訳（メタデータ） (2021-05-10T06:07:05Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Non-asymptotic Convergence Analysis of Two Time-scale (Natural) Actor-Critic Algorithms [58.57004511121862]
  アクタークリティカル(AC)とナチュラルアクタークリティカル(NAC)のアルゴリズムは、最適なポリシーを見つけるために2つの方法で実行されることが多い。 2つの時間スケールACは、$mathcalO(epsilon-2.5log3(epsilon-1))$で、$epsilon$-accurateの定常点に達するために、全体のサンプルの複雑さを必要とすることを示す。 我々は,動的にマルコフサンプリングが変化するため,アクターのバイアス誤差をバウンドする新しい手法を開発した。
  論文  参考訳（メタデータ） (2020-05-07T15:42:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。