論文の概要: Lyapunov-Certified Direct Switching Theory for Q-Learning

• arxiv url: http://arxiv.org/abs/2604.19569v1
• Date: Tue, 21 Apr 2026 15:22:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.843411
• Title: Lyapunov-Certified Direct Switching Theory for Q-Learning
• Title（参考訳）: Ryapunov-Certified Direct Switching Theory for Q-Learning
• Authors: Donghwan Lee,
• Abstract要約: 直接切替システム表現を用いてQ-ラーニングを解析する。 我々は、JSR による Lyapunov 関数を介して有限時間の最終定規を導出する。
• 参考スコア（独自算出の注目度）: 7.8232617281369805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Q-learning is one of the most fundamental algorithms in reinforcement learning. We analyze constant-stepsize Q-learning through a direct stochastic switching system representation. The key observation is that the Bellman maximization error can be represented exactly by a stochastic policy. Therefore, the Q-learning error admits a switched linear conditional-mean recursion with martingale-difference noise. The intrinsic drift rate is the joint spectral radius (JSR) of the direct switching family, which can be strictly smaller than the standard row-sum rate. Using this representation, we derive a finite-time final-iterate bound via a JSR-induced Lyapunov function and then give a computable quadratic-certificate version.
• Abstract（参考訳）: Q-learningは強化学習における最も基本的なアルゴリズムの1つである。 直接確率切替システム表現による定段階Q-ラーニングの解析を行う。 ベルマンの最大化誤差は確率的ポリシーによって正確に表現できる。 したがって、Q-ラーニング誤差は、マーチンゲール差分ノイズで切替された線形条件平均再帰を許容する。 内在ドリフト速度は直交スイッチングファミリーの関節スペクトル半径(JSR)であり、通常のローサムレートよりも厳密に小さい。 この表現を用いて、JSR によって誘導される Lyapunov 関数を介して有限時間の最終定式化を導出し、計算可能な二次証明版を与える。

関連論文リスト

• Double Successive Over-Relaxation Q-Learning with an Extension to Deep Reinforcement Learning [0.0]
  逐次的過剰緩和(SOR)Q-ラーニングは、収束をスピードアップする緩和因子を導入し、2つの大きな制限がある。 サンプルベースでモデルなしのダブルSORQ学習アルゴリズムを提案する。 提案アルゴリズムは深部RLを用いて大規模問題に拡張される。
  論文  参考訳（メタデータ） (2024-09-10T09:23:03Z)
• Variance-Reduced Cascade Q-learning: Algorithms and Sample Complexity [3.4376560669160394]
  Variance-Reduced Cascade Q-learning (VRCQ)と呼ばれる新しいモデルなしアルゴリズムを導入し分析する。 VRCQは、既存のモデルフリー近似型アルゴリズムと比較して、$ell_infty$-normにおいて優れた保証を提供する。
  論文  参考訳（メタデータ） (2024-08-13T00:34:33Z)
• Symmetric Q-learning: Reducing Skewness of Bellman Error in Online Reinforcement Learning [55.75959755058356]
  深層強化学習では、状態や行動の質を評価するために、価値関数を推定することが不可欠である。 最近の研究では、値関数を訓練する際の誤差分布はベルマン作用素の特性のためにしばしば歪むことが示唆されている。 そこで我々は,ゼロ平均分布から発生する合成ノイズを目標値に加え,ガウス誤差分布を生成するSymmetric Q-learning法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:49:19Z)
• Constant Stepsize Q-learning: Distributional Convergence, Bias and Extrapolation [27.17913040244775]
  本稿では,非同期Q-ラーニングを定常的なステップサイズで研究する。 一定段数Q-ラーニングを時間均質な連鎖に接続することにより、距離の反復の分布収束を示す。 また,Q-ラーニングイテレートに対する中心極限理論を確立し,平均的イテレートの正規性を示す。 具体的には、偏差は高次項までの段差に比例し、線形係数に対して明示的な表現を与える。
  論文  参考訳（メタデータ） (2024-01-25T02:01:53Z)
• QLABGrad: a Hyperparameter-Free and Convergence-Guaranteed Scheme for Deep Learning [6.555832619920502]
  QLABGradと呼ばれる新しい学習率適応方式を提案する。 QLABGradは、所定の勾配降下方向に対して、Quadratic Loss Approximation-Based (QLAB)関数を最適化することにより、学習率を自動的に決定する。
  論文  参考訳（メタデータ） (2023-02-01T05:29:10Z)
• Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits [88.6139446295537]
  一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。 ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。 本稿では,FTRLに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T08:25:26Z)
• Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
  我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。 対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
  論文  参考訳（メタデータ） (2021-10-24T08:57:46Z)
• Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs [50.75812033462294]
  我々は,Q-ラーニングの実践的成功と悲観的理論的結果とのギャップを埋める。 本稿では,新しいQ-Rex法とQ-RexDaReを提案する。 Q-Rex は線形 MDP の最適ポリシを効率的に見つけることができる。
  論文  参考訳（メタデータ） (2021-10-16T01:47:41Z)
• Finite-Time Analysis for Double Q-learning [50.50058000948908]
  二重Q-ラーニングのための非漸近的有限時間解析を初めて提供する。 同期と非同期の二重Q-ラーニングの両方が,グローバル最適化の$epsilon$-accurate近辺に収束することが保証されていることを示す。
  論文  参考訳（メタデータ） (2020-09-29T18:48:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。