論文の概要: Improved Monte Carlo Planning via Causal Disentanglement for Structurally-Decomposed Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2406.16151v2
• Date: Fri, 03 Oct 2025 14:08:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:51.864216
• Title: Improved Monte Carlo Planning via Causal Disentanglement for Structurally-Decomposed Markov Decision Processes
• Title（参考訳）: 構造分解マルコフ決定過程における因果解離によるモンテカルロ計画の改善
• Authors: Larkin Liu, Shiqi Liu, Yinruo Hua, Matej Jusup,
• Abstract要約: 本稿では,MDPの時間的因果グラフを独立成分に分割するために,因果解離を利用した構造分解型MDP(SD-MDP)を提案する。 様々な物流および金融分野のベンチマークよりも優れた政策性能を示す。
• 参考スコア（独自算出の注目度）: 0.9768138268100163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Markov Decision Processes (MDPs), as a general-purpose framework, often overlook the benefits of incorporating the causal structure of the transition and reward dynamics. For a subclass of resource allocation problems, we introduce the Structurally Decomposed MDP (SD-MDP), which leverages causal disentanglement to partition an MDP's temporal causal graph into independent components. By exploiting this disentanglement, SD-MDP enables dimensionality reduction and computational efficiency gains in optimal value function estimation. We reduce the sequential optimization problem to a fractional knapsack problem with log-linear complexity $O(T \log T)$, outperforming traditional stochastic programming methods that exhibit polynomial complexity with respect to the time horizon $T$. Additionally, SD-MDP's computational advantages are independent of state-action space size, making it viable for high-dimensional spaces. Furthermore, our approach integrates seamlessly with Monte Carlo Tree Search (MCTS), achieving higher expected rewards under constrained simulation budgets while providing a vanishing simple regret bound. Empirical results demonstrate superior policy performance over benchmarks across various logistics and finance domains.
• Abstract（参考訳）: 汎用フレームワークとしてのマルコフ決定プロセス(MDP)は、しばしば遷移と報酬のダイナミクスの因果構造を組み込むことの利点を見落としている。 資源配分問題のサブクラスとして,MDPの時間的因果グラフを独立成分に分割する因果分解を利用した構造分解MDP(Structurely Decomposed MDP, SD-MDP)を導入する。 この絡み合いを利用して、SD-MDPは最適値関数推定において次元の減少と計算効率の向上を可能にする。 逐次最適化問題を、対数線形複雑性を持つ分数的なknapsack問題に還元し、時間的地平線に対する多項式複雑性を示す従来の確率的プログラミング手法より優れる$O(T \log T)$とする。 さらに、SD-MDPの計算上の優位性は状態-作用空間のサイズとは独立であり、高次元空間で実現可能である。 さらに,本手法はモンテカルロ木探索 (MCTS) とシームレスに連携し,制約付きシミュレーション予算下でのより高い報奨を達成し,単純な後悔の束縛を解消する。 実証的な結果は、様々な物流および金融分野のベンチマークよりも優れた政策性能を示す。

関連論文リスト

• Sequential Monte Carlo for Policy Optimization in Continuous POMDPs [9.690099639375456]
  連続的部分観測可能なマルコフ決定プロセス(POMDP)のための新しいポリシー最適化フレームワークを提案する。 本手法は,非マルコフ的ファインマン-カックモデルにおいて,政策学習を確率論的推論とみなす。 提案手法の有効性を,標準連続ポデムPベンチマークで実証する。
  論文  参考訳（メタデータ） (2025-05-22T14:45:46Z)
• Threshold UCT: Cost-Constrained Monte Carlo Tree Search with Pareto Curves [1.799933345199395]
  制約付きマルコフ決定プロセス(CMDP)は、不確実性の下で安全なシーケンシャルな意思決定のための主要なフレームワークである。 CMDP計画のためのオンラインMCTSベースのアルゴリズムであるThreshold UCTを紹介する。 実験の結果,本手法は文献の最先端手法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-18T15:41:47Z)
• Nearly Optimal Latent State Decoding in Block MDPs [74.51224067640717]
  エピソードブロック MDP では、意思決定者は少数の潜在状態から生成される豊富な観測やコンテキストにアクセスすることができる。 まず、固定動作ポリシーに基づいて生成されたデータに基づいて、潜時状態復号関数を推定することに興味がある。 次に、報酬のないフレームワークにおいて、最適に近いポリシーを学習する問題について研究する。
  論文  参考訳（メタデータ） (2022-08-17T18:49:53Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Robust Entropy-regularized Markov Decision Processes [23.719568076996662]
  本稿では,ER-MDPモデルのロバストバージョンについて検討する。 我々は, ER-MDPと頑健な非正規化MDPモデルに係わる重要な特性も設定に保たれることを示す。 私たちは、我々のフレームワークと結果を、価値や(修正された)ポリシーを含む異なるアルゴリズムのスキームに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-12-31T09:50:46Z)
• Risk-Averse Decision Making Under Uncertainty [18.467950783426947]
  不確実性条件下での意思決定は、マルコフ決定プロセス(MDP)または部分的に観測可能なMDP(POMDP)を介して記述することができる。 本稿では、動的コヒーレントリスク対策の観点から、MDPとPMDPのポリシーを目的と制約で設計する問題について考察する。
  論文  参考訳（メタデータ） (2021-09-09T07:52:35Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)
• Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach [78.05638156687343]
  本稿では,POMCPポリシーをトレースを検査して分析する手法を提案する。 提案手法は, 政策行動の局所的特性を探索し, 予期せぬ決定を識別する。 我々は,POMDPの標準ベンチマークであるTigerに対するアプローチと,移動ロボットナビゲーションに関する現実の問題を評価した。
  論文  参考訳（メタデータ） (2020-12-23T15:09:28Z)
• Stein Variational Model Predictive Control [130.60527864489168]
  不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。 モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。 この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
  論文  参考訳（メタデータ） (2020-11-15T22:36:59Z)
• Exploiting Submodular Value Functions For Scaling Up Active Perception [60.81276437097671]
  アクティブな知覚タスクでは、エージェントは1つ以上の隠れ変数の不確実性を減少させる感覚行動を選択することを目的としている。 部分的に観測可能なマルコフ決定過程(POMDP)は、そのような問題に対する自然なモデルを提供する。 エージェントが利用できるセンサーの数が増えるにつれて、POMDP計画の計算コストは指数関数的に増加する。
  論文  参考訳（メタデータ） (2020-09-21T09:11:36Z)
• Optimal Inspection and Maintenance Planning for Deteriorating Structural Components through Dynamic Bayesian Networks and Markov Decision Processes [0.0]
  部分的に観測可能なマルコフ決定過程(POMDPs)は、不確実な行動結果と観測下での最適制御のための数学的方法論を提供する。 本稿では, 有限地平線POMDPを構造的信頼性の文脈で開発するための定式化について述べる。 その結果,従来の問題設定においても,POMDPのコストは従来に比べて大幅に低減した。
  論文  参考訳（メタデータ） (2020-09-09T20:03:42Z)
• Stochastic Finite State Control of POMDPs with LTL Specifications [14.163899014007647]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、不確実性の下での自律的な意思決定のためのモデリングフレームワークを提供する。 本稿では,POMDPに対する準最適有限状態制御器(sFSC)の合成に関する定量的問題について考察する。 本稿では,sFSC サイズが制御される有界ポリシアルゴリズムと,連続的な繰り返しにより制御器の性能が向上する任意の時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-21T18:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。