論文の概要: Fast Rates for Offline Q-Learning with KL Regularization

• arxiv url: http://arxiv.org/abs/2610.18839v1
• Date: Tue, 13 Oct 2026 17:56:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.702051
• Title: Fast Rates for Offline Q-Learning with KL Regularization
• Title（参考訳）: KL正規化によるオフラインQ-Learningの高速化
• Abstract要約: 本稿では,KL正則化を用いた有限水平マルコフ決定過程のオフラインQ-ラーニングについて検討する。 まず,古典的Q-ラーニングの単純な変種であるKL-regularized Q-Learning (KLQ)を提案する。 次に、ペシミズムをKLQに組み込んだKL正規化悲観的Qラーニング(KLPQ)を提案する。
• 参考スコア（独自算出の注目度）: 3.1446821478209244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates offline Q-learning for finite-horizon Markov decision processes with Kullback-Leibler (KL) regularization. Recent studies have shown that KL regularization can yield fast rates in offline decision-making problems. However, it remains unclear whether Q-learning, which adopts incremental stochastic approximation updates, can achieve such fast rates in the offline setting. We first propose KL-regularized Q-Learning (KLQ), a simple variant of classical Q-learning. By exploiting KL regularization, we prove that KLQ achieves a sample complexity of $\widetilde{O}(1/ε)$ without explicit pessimism. This guarantee, however, has an exponential dependence on the KL regularization parameter and the horizon. To address this limitation, we further propose KL-regularized Pessimistic Q-Learning (KLPQ), which incorporates pessimism into KLQ. We prove that KLPQ retains the same \(\widetilde O(1/ε)\) rate while removing the explicit exponential dependence, thereby further improving the sample complexity. To the best of our knowledge, these results establish the first fast-rate guarantees for offline Q-learning in tabular finite-horizon KL-regularized MDPs.
• Abstract（参考訳）: 本稿では,KL正則化を用いた有限水平マルコフ決定過程のオフラインQ-ラーニングについて検討する。 近年の研究では、KL正則化がオフライン意思決定問題において高速な速度をもたらすことが示されている。 しかし、漸進的確率近似更新を導入したQラーニングが、オフライン環境でそのような高速な速度を達成できるかどうかは不明だ。 まず,古典的Q-ラーニングの単純な変種であるKL-regularized Q-Learning (KLQ)を提案する。 KL正則化を利用することで、KLQ は明示的な悲観論なしで $\widetilde{O}(1/ε)$ のサンプル複雑性を達成できることを示す。 しかし、この保証は、KL正則化パラメータと地平線に指数的に依存する。 この制限に対処するために、ペシミズムをKLQに組み込んだKL正規化悲観的Q-Learning(KLPQ)を提案する。 我々は、KLPQが明示的な指数依存を除去しながら、同じ(\widetilde O(1/ε)\)レートを維持していることを証明し、その結果、サンプルの複雑さをさらに改善した。 我々の知る限り、これらの結果は、表付き有限水平KL正規化MDPにおけるオフラインQ-ラーニングのための最初の高速化保証を確立する。

関連論文リスト

• Toward Plasticity-Preserving KL Regularization for Capability Retention in LLM Reinforcement Learning [43.981833556858135]
  完全出力分布から正当性条件付き応答分布への保存制約を狭める条件正規化フレームワークを提案する。 CoKLは,既存の正規化手法よりも目標タスク改善と事前能力維持のバランスが良好である。
  論文  参考訳（メタデータ） (2026-08-03T06:10:33Z)
• Fast Rates for Offline Contextual Bandits with Forward-KL Regularization under Single-Policy Concentrability [54.40598524756038]
  emphKullback-Leibler (KL) 正規化は強化学習アルゴリズムにおいてユビキタスである。 近年の研究では、KLの逆正則化の下での意思決定において、$1$型高速速度が示されている。 我々は、この問題を解決するための第一歩として、フォワードKL正規化オフラインCBの合理化分析を行う。
  論文  参考訳（メタデータ） (2026-05-09T23:17:46Z)
• Lyapunov-Certified Direct Switching Theory for Q-Learning [7.8232617281369805]
  直接切替システム表現を用いてQ-ラーニングを解析する。 我々は、JSR による Lyapunov 関数を介して有限時間の最終定規を導出する。
  論文  参考訳（メタデータ） (2026-04-21T15:22:42Z)
• Regret and Sample Complexity of Online Q-Learning via Concentration of Stochastic Approximation with Time-Inhomogeneous Markov Chains [23.565936864449636]
  無限水平割引マルコフ決定過程における古典的オンラインQ-ラーニングに対する最初の高い確率的後悔を示す。 十分な大きなギャップでは、後悔はサブリニアであり、小さなギャップでは劣化し、線形成長に近づく。
  論文  参考訳（メタデータ） (2026-02-18T08:47:07Z)
• Logarithmic Regret for Online KL-Regularized Reinforcement Learning [51.113248212150964]
  KL正規化は、大規模言語モデルにおけるRL微調整の効率向上に重要な役割を果たしている。 経験的優位性にもかかわらず、KL-正則化RLと標準RLの理論的相違はほとんど未探索のままである。 楽観的なKL正規化オンライン文脈帯域幅アルゴリズムを提案し,その後悔の新たな分析法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T11:11:05Z)
• Markovian Score Climbing: Variational Inference with KL(p||q) [16.661889249333676]
  我々は「排他的クルバック・リーブラ」(KL)KL(p q)を確実に最小化する簡単なアルゴリズムを開発する。 この方法は包含KLの局所最適化に収束する。 Reweighted Wake-Sleep(英語版)やNeural Adaptive Monte Carlo(英語版)のような既存の手法に固有の体系的な誤りに悩まされない。
  論文  参考訳（メタデータ） (2020-03-23T16:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。