論文の概要: Monte Carlo Planning for Stochastic Control on Constrained Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2406.16151v1
• Date: Sun, 23 Jun 2024 16:22:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 18:44:41.978118
• Title: Monte Carlo Planning for Stochastic Control on Constrained Markov Decision Processes
• Title（参考訳）: マルコフ決定過程の確率制御のためのモンテカルロ計画
• Authors: Larkin Liu, Shiqi Liu, Matej Jusup,
• Abstract要約: 本研究は,MDP フレームワークである textttSD-MDP を定義し,MDP の遷移と報酬ダイナミクスの因果構造を解析する。 モンテカルロサンプリングから独立な値推定を行うことにより、最適ポリシの下での値関数の推定誤差に関する理論的保証を導出する。
• 参考スコア（独自算出の注目度）: 1.445706856497821
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the world of stochastic control, especially in economics and engineering, Markov Decision Processes (MDPs) can effectively model various stochastic decision processes, from asset management to transportation optimization. These underlying MDPs, upon closer examination, often reveal a specifically constrained causal structure concerning the transition and reward dynamics. By exploiting this structure, we can obtain a reduction in the causal representation of the problem setting, allowing us to solve of the optimal value function more efficiently. This work defines an MDP framework, the \texttt{SD-MDP}, where we disentangle the causal structure of MDPs' transition and reward dynamics, providing distinct partitions on the temporal causal graph. With this stochastic reduction, the \texttt{SD-MDP} reflects a general class of resource allocation problems. This disentanglement further enables us to derive theoretical guarantees on the estimation error of the value function under an optimal policy by allowing independent value estimation from Monte Carlo sampling. Subsequently, by integrating this estimator into well-known Monte Carlo planning algorithms, such as Monte Carlo Tree Search (MCTS), we derive bounds on the simple regret of the algorithm. Finally, we quantify the policy improvement of MCTS under the \texttt{SD-MDP} framework by demonstrating that the MCTS planning algorithm achieves higher expected reward (lower costs) under a constant simulation budget, on a tangible economic example based on maritime refuelling.
• Abstract（参考訳）: 確率制御の世界では、特に経済・工学において、マルコフ決定プロセス(MDP)は資産管理から輸送最適化まで、様々な確率決定プロセスを効果的にモデル化することができる。 これらの基礎となるMDPは、綿密な検査によって、遷移と報酬のダイナミクスに関する特定の制約された因果構造を明らかにすることが多い。 この構造を利用することで、問題設定の因果表現の低減を図り、最適な値関数をより効率的に解くことができる。 この研究は MDP フレームワークである \texttt{SD-MDP} を定義し、MDP の遷移と報酬のダイナミクスの因果構造を解き、時間的因果グラフに異なる分割を与える。 この確率的還元により、 \texttt{SD-MDP} は資源割り当て問題の一般的なクラスを反映する。 さらに,モンテカルロサンプリングから独立な値推定を行うことにより,最適条件下での値関数の推定誤差に関する理論的保証を導出することができる。 その後、モンテカルロ木探索(MCTS)のようなよく知られたモンテカルロ計画アルゴリズムにこの推定器を組み込むことで、アルゴリズムの単純な後悔に基づく境界を導出する。 最後に,一定のシミュレーション予算の下でMCTS計画アルゴリズムが期待される高い報酬(より低いコスト)を達成することを示すことにより,MCTSの政策改善を,海上給油による具体的な経済事例に基づいて定量化する。

関連論文リスト

• Nearly Optimal Latent State Decoding in Block MDPs [74.51224067640717]
  エピソードブロック MDP では、意思決定者は少数の潜在状態から生成される豊富な観測やコンテキストにアクセスすることができる。 まず、固定動作ポリシーに基づいて生成されたデータに基づいて、潜時状態復号関数を推定することに興味がある。 次に、報酬のないフレームワークにおいて、最適に近いポリシーを学習する問題について研究する。
  論文  参考訳（メタデータ） (2022-08-17T18:49:53Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Robust Entropy-regularized Markov Decision Processes [23.719568076996662]
  本稿では,ER-MDPモデルのロバストバージョンについて検討する。 我々は, ER-MDPと頑健な非正規化MDPモデルに係わる重要な特性も設定に保たれることを示す。 私たちは、我々のフレームワークと結果を、価値や(修正された)ポリシーを含む異なるアルゴリズムのスキームに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-12-31T09:50:46Z)
• Risk-Averse Decision Making Under Uncertainty [18.467950783426947]
  不確実性条件下での意思決定は、マルコフ決定プロセス(MDP)または部分的に観測可能なMDP(POMDP)を介して記述することができる。 本稿では、動的コヒーレントリスク対策の観点から、MDPとPMDPのポリシーを目的と制約で設計する問題について考察する。
  論文  参考訳（メタデータ） (2021-09-09T07:52:35Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)
• Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach [78.05638156687343]
  本稿では,POMCPポリシーをトレースを検査して分析する手法を提案する。 提案手法は, 政策行動の局所的特性を探索し, 予期せぬ決定を識別する。 我々は,POMDPの標準ベンチマークであるTigerに対するアプローチと,移動ロボットナビゲーションに関する現実の問題を評価した。
  論文  参考訳（メタデータ） (2020-12-23T15:09:28Z)
• Stein Variational Model Predictive Control [130.60527864489168]
  不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。 モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。 この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
  論文  参考訳（メタデータ） (2020-11-15T22:36:59Z)
• Exploiting Submodular Value Functions For Scaling Up Active Perception [60.81276437097671]
  アクティブな知覚タスクでは、エージェントは1つ以上の隠れ変数の不確実性を減少させる感覚行動を選択することを目的としている。 部分的に観測可能なマルコフ決定過程(POMDP)は、そのような問題に対する自然なモデルを提供する。 エージェントが利用できるセンサーの数が増えるにつれて、POMDP計画の計算コストは指数関数的に増加する。
  論文  参考訳（メタデータ） (2020-09-21T09:11:36Z)
• Optimal Inspection and Maintenance Planning for Deteriorating Structural Components through Dynamic Bayesian Networks and Markov Decision Processes [0.0]
  部分的に観測可能なマルコフ決定過程(POMDPs)は、不確実な行動結果と観測下での最適制御のための数学的方法論を提供する。 本稿では, 有限地平線POMDPを構造的信頼性の文脈で開発するための定式化について述べる。 その結果,従来の問題設定においても,POMDPのコストは従来に比べて大幅に低減した。
  論文  参考訳（メタデータ） (2020-09-09T20:03:42Z)
• Stochastic Finite State Control of POMDPs with LTL Specifications [14.163899014007647]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、不確実性の下での自律的な意思決定のためのモデリングフレームワークを提供する。 本稿では,POMDPに対する準最適有限状態制御器(sFSC)の合成に関する定量的問題について考察する。 本稿では,sFSC サイズが制御される有界ポリシアルゴリズムと,連続的な繰り返しにより制御器の性能が向上する任意の時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-21T18:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。