論文の概要: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees

• arxiv url: http://arxiv.org/abs/2610.28915v1
• Date: Tue, 20 Oct 2026 20:52:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.144175
• Title: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
• Title（参考訳）: 終端保証付き離散時間オフポリティデータを用いたモデルフリー連続RLアルゴリズム
• Abstract要約: 連続時間強化学習において、状態は未知の微分方程式に従うが、離散時間遷移の固定されたオフポリシーバッチのみが利用可能である。 我々は,連続的な行動水準の尺度を保ちながら,単一の状態行動評論家を用いたモデルフリーなPhiBE政策フレームワークを開発した。
• 参考スコア（独自算出の注目度）: 7.090465472718175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study continuous-time reinforcement learning, where the state follows an unknown stochastic differential equation but only a fixed off-policy batch of discrete-time transitions is available. Standard discrete-time Q-learning becomes problematic as the sampling interval shrinks, because differences between action values vanish. Continuous-time alternatives, such as Deep Advantage Updating and martingale q-learning, preserve the action signal but jointly learn a value function and an action-dependent critic. Building on the PhiBE-Q formulation (arXiv:2606.21925), we develop a model-free PhiBE policy iteration (PhiBE-PI) framework that uses a single state-action critic while preserving the continuous-time action-ranking scale. At each iteration, the framework learns the critic directly from sampled increments and uses it to improve the policy. The same batch is reused throughout, without explicitly estimating the drift or diffusion. We further develop an implementation under linear function approximation and establish a local end-to-end suboptimality guarantee for the learned policy. Our analysis quantifies how errors from time discretization, function approximation, and finite-sample policy evaluation propagate through policy iteration. It accounts for the dependence of successive policies on the reused data, so the guarantee does not require a fresh batch at each iteration. Moreover, we identify a bias-variance trade-off: smaller sampling intervals improve the approximation to the continuous-time problem but can increase statistical error at a fixed sample size. Thus, finer time discretization does not necessarily lead to better policy performance.
• Abstract（参考訳）: 本稿では,連続時間強化学習について検討する。そこでは状態が未知の確率微分方程式に従うが,離散時間遷移の固定されたオフポリシーバッチのみが利用可能である。 サンプリング間隔が縮むにつれて、アクション値の違いがなくなるため、標準離散時間Q-ラーニングは問題となる。 Deep Advantage UpdatingやMartingale q-learningといった連続的な代替手段は、アクション信号を保存するが、バリュー関数とアクション依存の批判を共同で学習する。 PhiBE-Q の定式化 (arXiv:2606.21925) に基づいて, 連続時間行動尺度を保ちながら, 単一状態評価を用いたモデルフリーな PhiBE ポリシー反復 (PhiBE-PI) フレームワークを開発する。 各イテレーションで、フレームワークは、サンプル化されたインクリメントから直接批判を学び、ポリシーを改善するためにそれを使用する。 同じバッチは、ドリフトや拡散を明示的に見積もることなく、全体を通して再利用される。 さらに線形関数近似に基づく実装を開発し、学習ポリシーに対する局所的なエンドツーエンドの準最適保証を確立する。 本分析は, 時間離散化, 関数近似, 有限サンプルポリシー評価による誤差が, ポリシー反復によってどのように伝播するかを定量的に評価する。 再利用されたデータに対する連続したポリシーの依存を考慮し、各イテレーションで新しいバッチを必要としない。 さらに, サンプリング間隔を小さくすることで, 連続時間問題への近似が向上するが, 一定のサンプルサイズで統計的誤差を増大させることができる。 したがって、より詳細な時間の離散化は、必ずしもより良い政策パフォーマンスをもたらすとは限らない。

関連論文リスト

• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• STEEL: Singularity-aware Reinforcement Learning [14.424199399139804]
  バッチ強化学習(RL)は、事前収集されたデータを利用して最適なポリシーを見つけることを目的としている。 本稿では,状態空間と行動空間の両方に特異性を持たせる新しいバッチRLアルゴリズムを提案する。 悲観主義といくつかの技術的条件を利用して、提案したアルゴリズムに対する最初の有限サンプル後悔保証を導出する。
  論文  参考訳（メタデータ） (2023-01-30T18:29:35Z)
• Anytime-valid off-policy inference for contextual bandits [34.721189269616175]
  コンテキストバンディットアルゴリズムは、観測されたコンテキストを$X_t$からアクションにマッピングする。 データの収集に使われたロギングポリシーと異なる仮説的ポリシーの特性を推定することは、しばしば関心がある。 我々は、過去の作業で不要な条件を緩和するOPE推論のための包括的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:57:53Z)
• Global Optimality and Finite Sample Analysis of Softmax Off-Policy Actor Critic under State Distribution Mismatch [26.23228392999382]
  我々は、非政治アクター批評家アルゴリズムのグローバル最適性と収束率を確立する。 私たちの研究は、政策勾配法の最適性に関する既存の研究を超えています。
  論文  参考訳（メタデータ） (2021-11-04T16:48:45Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)
• Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
  本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。 記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
  論文  参考訳（メタデータ） (2020-02-21T19:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。