論文の概要: Offline KL-Regularized Reinforcement Learning with Stochastic Transitions
- arxiv url: http://arxiv.org/abs/2611.17603v1
- Date: Thu, 12 Nov 2026 23:53:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.278559
- Title: Offline KL-Regularized Reinforcement Learning with Stochastic Transitions
- Title(参考訳): 確率遷移を用いたオフラインKL正規化強化学習
- Abstract要約: 有限割引マルコフ決定過程を未知の遷移、K$状態-作用対、有効地平線$H$で研究する。
Cgeq 4$で最適正則化された最適値をカバーするデータの場合、すべての推定器は、$$$が小さい場合、いくつかのインスタンスで$(KCH3/(max,))$サンプルを必要とする。
生成モデルに最適最小限のプラグインは、多くのアクションがほとんど見られない場合、小さな温度で参照データに失敗する可能性がある。
- 参考スコア(独自算出の注目度): 2.4423948691940347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: KL-regularized reinforcement learning is the objective behind RL fine-tuning of language models, and its data are often collected by the reference policy itself. However, beyond bandits and deterministic transitions, little is known about how much offline data it needs. In this work, we study finite discounted Markov decision processes with unknown stochastic transitions, $K$ state-action pairs and effective horizon $H$. For data that cover the regularized optimum with concentrability $C\geq 4$, every estimator needs $Ω(KCH^3/(ε\max\{ε,β\}))$ samples on some instances when $ε$ is small, where $β$ is the temperature. Under a fixed design, pessimistic soft value iteration with a variance-aware penalty attains this rate with high probability, up to logarithmic factors, when $β\geq 1.4H$. When the data come from the reference policy itself, we show that it covers the optimum up to a power law whose exponent grows as $H/β$; in the same temperature range, this power law alone gives the estimator a sample complexity polynomial in $1/ε$, with no coverage assumption. For $β\geq H$ the power can also increase the sample size needed by a factor polynomial in $1/ε$. Finally, the plug-in estimator, which is minimax optimal with a generative model, can fail on reference data at small temperatures when many actions are rarely seen, while the pessimistic estimator does not.
- Abstract(参考訳): KL正規化強化学習は、言語モデルのRL微調整の背景にある目標であり、そのデータは参照ポリシー自体によって収集されることが多い。
しかし、盗賊や決定論的移行以外にも、どれだけオフラインデータが必要なのかは分かっていない。
本研究では,確率遷移のない有限割引マルコフ決定過程,K$状態-作用対,有効地平線$H$について検討する。
正則化された最適値をカバーするデータに対して、$C\geq 4$ は、すべての推定元は $Ω(KCH^3/(ε\max\{ε,β\})$ を必要とする。
固定された設計の下では、分散を意識したペナルティを持つ悲観的ソフトバリュー反復は、$β\geq 1.4H$の場合に、対数因子まで高い確率でこのレートを得る。
基準法則自体から得られるデータから、指数が$H/β$として成長する電力法則までをカバーし、同じ温度範囲において、この電力法則だけで、推定者は、被覆仮定なしで1/ε$のサンプル複雑性多項式を与える。
$β\geq H$ の場合、このパワーは係数多項式が必要とするサンプルサイズを 1/ε$ で増やすことができる。
最後に、生成モデルに最適最小限のプラグイン推定器は、多くのアクションがほとんど見られない場合の参照データに失敗するが、悲観的推定器は失敗しない。
関連論文リスト
- Sharp Sample Complexity of KL-Regularized Reinforcement Learning [2.4423948691940347]
人間からのフィードバックから最大エントロピーRLとRLの背後にある目的であるKL正規化強化学習は「推論としての制御」のグラフィカルモデルにおける変分推論である
生成モデルを用いても、この後部を学習するのにどれだけのサンプルが必要であるかは分かっていない。
状態-作用対が$K$の割引MDPに対して、プラグイン推定器は、$widetildeO(KH3/(max,) + KH)$サンプルを持つ初期状態から$$$-Optimalのポリシーを見つける。
論文 参考訳(メタデータ) (2026-11-10T02:42:55Z) - Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳(メタデータ) (2026-08-06T19:49:48Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳(メタデータ) (2026-05-23T22:00:38Z) - Active Subsampling for Measurement-Constrained M-Estimation of Individualized Thresholds with High-Dimensional Data [3.1138411427556445]
測定制約のある問題では、大きなデータセットが利用可能であるにもかかわらず、大きなデータセットのごく一部でラベルを観測するのに手頃な価格にしかならない。
このことは、どのデータポイントが予算制約のあるラベルに最も有益であるかという重要な疑問を引き起こします。
本稿では,測定制約付きM推定フレームワークにおける最適個別化しきい値の推定に焦点をあてる。
論文 参考訳(メタデータ) (2024-11-21T00:21:17Z) - Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。
提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-06-25T16:38:53Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳(メタデータ) (2022-10-20T21:32:01Z) - Settling the Sample Complexity of Model-Based Offline Reinforcement
Learning [50.5790774201146]
オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。
事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。
モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
論文 参考訳(メタデータ) (2022-04-11T17:26:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。