論文の概要: Solving Markov Decision Processes with Future Information via MPC

• arxiv url: http://arxiv.org/abs/2606.24991v1
• Date: Tue, 23 Jun 2026 14:51:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.084618
• Title: Solving Markov Decision Processes with Future Information via MPC
• Title（参考訳）: MPCによるマルコフ決定過程の解法
• Authors: Shambhuraj Sawant, Akhil S Anand, Dirk Reinhardt, Sebastien Gros,
• Abstract要約: パラメータ化されたMPCは、将来の情報とともに、MDPの最適値関数とポリシーをどう表現できるかを示す。 このアプローチは、将来の参照情報を備えたポイントマスレースタスクで説明される。
• 参考スコア（独自算出の注目度）: 3.254074551965243
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model Predictive Control (MPC) is widely used in industrial and robotic systems for enforcing constraints and embedding domain knowledge through finite-horizon optimization-based planning. However, despite these strengths, an MPC scheme typically does not yield optimal policies for sequential decision-making problems formulated as Markov Decision Processes (MDPs). Recent combinations of MPC with Reinforcement Learning (RL) alleviate this issue by treating MPC as a parameterized model of the optimal policy of an MDP and adjusting its parameters using data. While these approaches typically consider classical MDPs, many real-world problems include future information--such as forecasts, prices, or reference trajectories--at decision time, which must be included in the MDP state for optimal decision-making. Current MPC-RL approaches do not directly account for this augmented-state structure, raising the question of how to incorporate future information into MPC to obtain an optimal policy. This work establishes the structural requirements under which a parameterized MPC can exactly represent the optimal value functions and policy of an MDP with future information. We further demonstrate that such a parameterized MPC can serve as a structured function approximator, with its parameters learned using RL. The approach is illustrated on a point-mass racing task with future reference information.
• Abstract（参考訳）: モデル予測制御(MPC)は、有限水平最適化に基づく計画を通じて制約を強制し、ドメイン知識を埋め込む産業やロボットシステムで広く使われている。 しかし、これらの強みにもかかわらず、MPCスキームは一般にマルコフ決定過程(MDP)として定式化されたシーケンシャルな意思決定問題に対して最適なポリシーを導出しない。 近年、MPCと強化学習(RL)の組み合わせにより、MPCをMDPの最適方針のパラメータモデルとして扱い、データを用いてパラメータを調整することにより、この問題を緩和している。 これらのアプローチは典型的には古典的MDPを考慮しているが、現実の多くの問題には、予測、価格、基準軌跡などの将来の情報が含まれる。 現在のMPC-RLアプローチは、この拡張状態構造を直接考慮していない。 この研究は、パラメータ化されたMPCが将来の情報でMDPの最適値関数とポリシーを正確に表現できる構造的要件を確立する。 さらに、そのようなパラメータ化MPCが、RLを用いて学習したパラメータを用いて、構造化関数近似器として機能することを実証する。 このアプローチは、将来の参照情報を備えたポイントマスレースタスクで説明される。

関連論文リスト

• Scalable Policy-Based RL Algorithms for POMDPs [6.2229686397601585]
  我々は、POMDPモデルを有限状態マルコフ決定プロセス(MDP)に近似することにより、部分観測可能強化学習(PORL)問題を解決するアプローチを検討する。 近似誤差はこの履歴の長さとともに指数関数的に減少することを示す。 我々の知識を最大限に活用するために、我々の有限時間境界は、真の力学がマルコフ的でない設定に標準的TD学習を適用する際に導入された誤差を明示的に定量化する最初のものである。
  論文  参考訳（メタデータ） (2025-10-08T00:33:38Z)
• Intersection of Reinforcement Learning and Bayesian Optimization for Intelligent Control of Industrial Processes: A Safe MPC-based DPG using Multi-Objective BO [0.0]
  Model Predictive Control (MPC)ベースのReinforcement Learning (RL)は、Deep Neural Network (DNN)ベースのRL手法の、構造化された解釈可能な代替手段を提供する。 標準MPC-RLアプローチは、収束の遅さ、パラメータ化の制限による最適条件学習、オンライン適応時の安全性の問題に悩まされることが多い。 MPC-RLと多目的ベイズ最適化(MOBO)を統合した新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-14T02:31:52Z)
• MPCritic: A plug-and-play MPC architecture for reinforcement learning [2.217971863441725]
  本稿では,MPCriticについて述べる。MPCriticは機械学習に優しいアーキテクチャで,MPCツールとシームレスに連携する。 MPCriticは、パラメータ化されたMPC問題によって定義された損失状況を利用して、バッチトレーニングステップに対する"ソフト"最適化に重点を置いている。
  論文  参考訳（メタデータ） (2025-04-01T18:07:07Z)
• Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining [50.00291020618743]
  この研究は、大規模なデータセットを再計算し、再トレーニングすることなくオンラインチューニングが可能な、新しいパラメータ適応型AMPCアーキテクチャを導入している。 資源制約の厳しいマイクロコントローラ(MCU)を用いた2種類の実カートポールシステムの揺らぎを制御し,パラメータ適応型AMPCの有効性を示す。 これらの貢献は、現実世界のシステムにおけるAMPCの実践的応用に向けた重要な一歩である。
  論文  参考訳（メタデータ） (2024-04-08T20:02:19Z)
• Semi-Markov Offline Reinforcement Learning for Healthcare [57.15307499843254]
  本稿では,SDQN,SDDQN,SBCQという3つのオフラインRLアルゴリズムを紹介する。 変動時間環境において,これらのアルゴリズムのみが最適ポリシーを学習できることを実験的に実証した。 我々は,脳卒中予防のためのウォーファリン投与に関連する実世界のオフラインデータセットに,我々の新しいアルゴリズムを適用した。
  論文  参考訳（メタデータ） (2022-03-17T14:51:21Z)
• Safe Exploration by Solving Early Terminated MDP [77.10563395197045]
  我々は、Early TerminatedP(ET-MDP)の枠組みの下で、安全なRL問題に対処する新しいアプローチを導入する。 まず、ET-MDPを対応するCMDPと同じ最適値関数を持つ非制約アルゴリズムとして定義する。 そこで,文脈モデルに基づく非政治アルゴリズムを提案し,ET-MDPを解き,それに対応するCMDPをより良い性能で解き,学習効率を向上する。
  論文  参考訳（メタデータ） (2021-07-09T04:24:40Z)
• Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning [52.74071439183113]
  我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。 2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
  論文  参考訳（メタデータ） (2021-06-06T23:53:31Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。