論文の概要: Reinforcement Learning for Continuous-Time Jump Markov Decision Processes with Applications to Network Dynamic Pricing
- arxiv url: http://arxiv.org/abs/2608.20680v1
- Date: Fri, 21 Aug 2026 02:36:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.350822
- Title: Reinforcement Learning for Continuous-Time Jump Markov Decision Processes with Applications to Network Dynamic Pricing
- Title（参考訳）: 連続時間ジャンプマルコフ決定過程の強化学習とネットワーク動的価格設定への応用
- Abstract要約: 連続ジャンプマルコフ決定過程(CTJMDP)における強化学習の研究
当社のセットアップでは, キャパシタイトされたリソースを用いた多製品動的価格設定など, オペレーションにおけるよく知られた多くのアプリケーションについて取り上げている。
離散時間MDPを用いたCTJMDPの経時的離散化と近似と比較すると,本手法にはいくつかの概念的,経験的メリットがある。
- 参考スコア（独自算出の注目度）: 6.741852800770004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study reinforcement learning (RL) in Continuous-Time Jump Markov Decision Processes (CTJMDPs) featuring general discrete state spaces (which need not possess a vector space structure) and continuous/discrete action spaces. The setup covers many well-known applications in operations such as multi-product dynamic pricing with capacitated resources (Gallego and van Ryzin 1997). To model the exploration-exploitation tradeoff, we formulate an entropy-regularized continuous-time control problem with stochastic policies. Recent continuous-time RL techniques such as $q$-learning for controlled diffusions in (Jia and Zhou 2023) focus on continuous state spaces $\mathbb{R}^d$ and rely heavily on semimartingale theory in $\mathbb{R}^d$ for their theoretical analysis. Consequently, their methods cannot be directly applied to CTJMDPs with general discrete state spaces, which may lack the algebraic addition and subtraction structures inherent to Euclidean spaces. To bridge this gap, we establish the theoretical foundations of $q$-learning for CTJMDPs and develop model-free $q$-learning algorithms. Compared to naïve time discretization and approximating CTJMDPs using discrete-time MDPs, our approach has several conceptual and empirical benefits. Numerical experiments in network dynamic pricing (Gallego and van Ryzin 1997) show that our proposed RL algorithm reliably learns near-optimal policies and consistently outperforms standard benchmark methods, demonstrating superior solution quality and effective scalability to large-scale network instances.
- Abstract（参考訳）: 連続時間ジャンプマルコフ決定過程(CTJMDP)における強化学習(RL)について検討した。
このセットアップは、容量化されたリソースを持つ多産物動的価格設定(Gallego and van Ryzin 1997)のようなオペレーションにおけるよく知られた多くの応用をカバーしている。
探索・探索トレードオフをモデル化するために,確率的ポリシを用いたエントロピー規則化された連続時間制御問題を定式化する。
Jia と Zhou 2023) における制御拡散に対する $q$-learning のような最近の連続時間 RL 技術は、連続状態空間 $\mathbb{R}^d$ に焦点をあて、理論解析において $\mathbb{R}^d$ のセミマーチンゲール理論に大きく依存している。
したがって、それらの手法は一般的な離散状態空間を持つCTJMDPに直接適用することはできず、ユークリッド空間に固有の代数的加法と減算構造が欠如している可能性がある。
このギャップを埋めるために、CTJMDPのための$q$-learningの理論的基礎を確立し、モデルフリーの$q$-learningアルゴリズムを開発する。
離散時間MDPを用いたCTJMDPの経時的離散化と近似と比較すると,本手法にはいくつかの概念的,経験的メリットがある。
ネットワーク動的価格の数値実験(Gallego and van Ryzin 1997)では,提案アルゴリズムがほぼ最適条件を確実に学習し,標準ベンチマーク法を一貫して上回り,大規模ネットワークインスタンスに対して優れたソリューション品質と効率的なスケーラビリティを示す。
関連論文リスト
- Better LMO-based Momentum Methods with Second-Order Information [48.580700968416444]
Hessian-Corrected Momentum (HCM) は運動量収束率の向上を目的としている。
Hessian-Corrected Momentum は問題の幾何学に適応し、従来の運動量よりも速い速度を達成することができる。
我々はHCMを統合することでLinear Minimization Oracleフレームワークを拡張し、緩和された滑らかさと任意の規範設定の下で収束保証を提供する。
論文 参考訳（メタデータ） (2025-12-15T11:43:09Z) - Sample-efficient and Scalable Exploration in Continuous-Time RL [39.99126118024949]
本研究では,非線形常微分方程式を用いて未知系の力学を表現した連続時間強化学習の問題を考察する。
我々はガウス過程やベイズニューラルネットワークのような確率モデルを利用して、基礎となるODEの不確実性を考慮したモデルを学ぶ。
これにより、連続時間モデルベースのRLに対するスケーラブルでサンプル効率のよいアプローチが得られる。
論文 参考訳（メタデータ） (2025-10-28T14:54:12Z) - Solving Continuous Mean Field Games: Deep Reinforcement Learning for Non-Stationary Dynamics [4.4685491639611685]
メアンフィールドゲーム(MFG)は、大規模マルチエージェントシステムにおけるインタラクションをモデル化するための強力なフレームワークとして登場した。
本稿では,非定常連続MFGに特化して設計された新しい深部強化学習(DRL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-10-25T04:50:52Z) - Bridging Discrete and Continuous RL: Stable Deterministic Policy Gradient with Martingale Characterization [12.269012358096667]
離散時間アルゴリズムを連続時間設定に拡張する際の大きな課題は、時間離散化に対する感度である。
連続時間強化学習のための決定論的政策勾配法を提案する。
提案アルゴリズムは,従来の離散時間法や連続時間法と比較して,安定性と収束性を向上する。
論文 参考訳（メタデータ） (2025-09-28T07:53:33Z) - Latent Guided Sampling for Combinatorial Optimization [3.636090511738153]
最近の組合せ最適化手法は、深層学習を利用して解法戦略を学習し、監視学習または強化学習(RL)を通して訓練されている。
有望ではあるが、これらのアプローチは多くの場合、タスク固有の拡張に依存し、配布外のインスタンスではパフォーマンスが悪く、堅牢な推論機構が欠如している。
本稿では,効率的な問題インスタンスを条件づけた新しい潜在空間モデルLGS-Netを提案するとともに,効率的なニューラル推論手法であるLatent Guided Sampling(LGS)を提案する。
論文 参考訳（メタデータ） (2025-06-04T08:02:59Z) - Uncertainty quantification for Markov chain induced martingales with application to temporal difference learning [55.197497603087065]
線形関数近似を用いた時間差分学習アルゴリズムの性能解析を行った。
マルコフ連鎖によって誘導されるベクトル値マルティンタに対する新規で一般的な高次元濃度不等式とベリー-エッセイン境界を確立する。
論文 参考訳（メタデータ） (2025-02-19T15:33:55Z) - Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である
我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。
提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
論文 参考訳（メタデータ） (2024-05-16T17:58:44Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-27T14:47:52Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。