論文の概要: Provably Efficient Reinforcement Learning in Continuous-Time Episodic MDPs with Poisson Decision Epochs

• arxiv url: http://arxiv.org/abs/2609.23127v1
• Date: Sat, 19 Sep 2026 16:53:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.686694
• Title: Provably Efficient Reinforcement Learning in Continuous-Time Episodic MDPs with Poisson Decision Epochs
• Title（参考訳）: Poisson Decision Epochsを用いた連続時間エピソードMDPにおける高能率強化学習
• Abstract要約: 決定エポックが均質なポアソン過程によって支配されるエピソード連続マルコフ決定過程(MDP)について検討した。 これらの結果は、ポアソン決定のエポックを伴うリプシッツ・スムース連続時間エピソードMDPに対して、最初の厳密な後悔の保証を与える。
• 参考スコア（独自算出の注目度）: 1.9540943030058247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-world reinforcement learning (RL) problems evolve in continuous time, where decisions occur at irregular, event-driven intervals rather than at fixed discrete steps. We study episodic continuous-time Markov Decision Processes (MDPs) in which decision epochs are governed by a homogeneous Poisson process and the reward and transition dynamics vary smoothly over time. We consider both a fixed number of jumps per episode and a fixed time budget with a random number of Poisson decision epochs. Under a Lipschitz continuity assumption in time, we exploit local smoothness through discretization and extend both UCRL (Auer and Ortner 2006) and Q-learning (Jin et al. 2018) to this setting, proving $\widetilde{O}(T^{2/3})$ regret bounds for both model-based and model-free algorithms. Finally, we establish matching $\widetildeΩ(T^{2/3})$ minimax lower bounds, showing that the rate is optimal up to logarithmic factors. These results provide the first tight regret guarantees for Lipschitz-smooth continuous-time episodic MDPs with Poisson decision epochs.
• Abstract（参考訳）: 多くの実世界の強化学習(RL)問題は連続的に進化し、決定は固定された離散的なステップではなく、不規則でイベント駆動的な間隔で起こる。 決定エポックが均質なポアソン過程によって制御され、報酬と遷移のダイナミクスが経時的にスムーズに変化するエピソード連続マルコフ決定過程(MDPs)について検討した。 一話あたりのジャンプ回数は一定であり、ポアソン決定の無作為な回数の時間予算も考慮する。 時間におけるリプシッツ連続性仮定の下では、離散化による局所滑らかさを利用して、UCRL (Auer and Ortner 2006) と Q-learning (Jin et al 2018) の両方をこの設定に拡張し、モデルベースおよびモデルフリーアルゴリズムの両方に対する後悔境界を$\widetilde{O}(T^{2/3})$で証明する。 最後に、マッチング $\widetildeΩ(T^{2/3})$ minimax lower bounds を確立し、この値は対数因子に最適であることを示す。 これらの結果は、ポアソン決定のエポックを伴うリプシッツ・スムース連続時間エピソードMDPに対して、最初の厳密な後悔の保証を与える。

関連論文リスト

• Near-Optimal Learning and Planning in Separated Latent MDPs [70.88315649628251]
  我々は、潜在マルコフ決定過程(LMDP)の計算的および統計的側面について研究する。 このモデルでは、学習者は、未知のMDPの混合から各エポックの開始時に描画されたMDPと相互作用する。
  論文  参考訳（メタデータ） (2024-06-12T06:41:47Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
  本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。 我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。 また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-21T00:17:24Z)
• Square-root regret bounds for continuous-time episodic Markov decision processes [11.585113506994471]
  有限水平エピソード設定における連続時間マルコフ決定過程(MDP)の強化学習について検討した。 本稿では,反復値と高信頼度境界に基づく学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T11:35:07Z)
• Logarithmic regret bounds for continuous-time average-reward Markov decision processes [9.806527798032809]
  無限水平平均回帰設定における連続時間決定過程(MDP)の強化学習について検討する。 我々は、時間的地平線において対数的なインスタンス依存の後悔の下限を導出する。
  論文  参考訳（メタデータ） (2022-05-23T10:15:00Z)
• Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
  無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。 最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-01-31T16:17:56Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。