論文の概要: Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies

• arxiv url: http://arxiv.org/abs/2608.02509v1
• Date: Mon, 03 Aug 2026 17:08:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.72521
• Title: Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies
• Title（参考訳）: 政策の小さな不確実性MDPにおけるミニマックスレグレットの最適化
• Abstract要約: 実世界のアプリケーションにおけるシーケンシャルな意思決定は、しばしば環境モデルに対する不確実性を伴う。 我々は,$k$-adaptable Policy synthesisを導入し,最小限の目的の下で,そのような$k$ポリシーのセットを最適化する。 様々なUMDPベンチマークの実験では、後悔の最大の減少は、1つから2つのポリシーに増加すると一貫して起こることが示されている。
• 参考スコア（独自算出の注目度）: 14.779869341263456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential decision-making in real-world applications often involves uncertainty about the environment's model. Uncertain Markov decision processes (UMDPs) represent the possible environments as a set of MDPs with shared states and actions but potentially different transition probabilities and rewards. Optimizing a single policy across all possible MDPs may sacrifice performance, while preparing an individually optimized policy for every MDP may violate operational, regulatory, or interpretability constraints on the number of policies that can be prepared and deployed. We consider settings in which model uncertainty is resolved shortly before execution, allowing the most suitable policy to be selected from a limited set prepared in advance. We introduce $k$-adaptable policy synthesis, which optimizes such a set of $k$ policies under a minimax-regret objective. We prove that the problem is NP-hard and develop KAPS, an exact nested branch-and-bound algorithm with problem-specific bounds and heuristics. KAPS jointly optimizes which MDPs share a policy and the policies themselves. Experiments across various UMDP benchmarks show that the largest reduction in regret consistently occurs when increasing from one to two policies. In the single-policy setting, KAPS is competitive with existing methods in solution quality and proves optimality substantially more often.
• Abstract（参考訳）: 実世界のアプリケーションにおけるシーケンシャルな意思決定は、しばしば環境モデルに対する不確実性を伴う。 不確実なマルコフ決定プロセス(UMDP)は、共有状態と行動を持つが、潜在的に異なる遷移確率と報酬を持つMDPの集合として可能な環境を表す。 すべての可能なMDPに対して単一のポリシーを最適化することはパフォーマンスを犠牲にし、一方、各MDPに対して個別に最適化されたポリシーを準備することは、準備およびデプロイ可能なポリシーの数に関する運用、規制、解釈可能性の制約に違反する可能性がある。 モデル不確実性が実行直前に解決されるような設定を考慮し、あらかじめ用意された制限セットから最も適切なポリシーを選択することができる。 我々は,$k$-adaptable Policy synthesisを導入し,最小限の目的の下で,このような$k$ポリシーのセットを最適化する。 問題固有の境界とヒューリスティックスを備えたネスト型分岐結合アルゴリズムである KAPS を開発した。 KAPSは、MPPが政策と政策そのものを共有することを共同で最適化する。 様々なUMDPベンチマークの実験では、後悔の最大の減少は、1つから2つのポリシーに増加すると一貫して起こることが示されている。 単一政治環境では、KAPSはソリューションの品質において既存の手法と競合し、より頻繁に最適性を証明する。

関連論文リスト

• Multi-Environment POMDPs: Discrete Model Uncertainty Under Partial Observability [29.63953552645502]
  多環境POMDP(ME-POMDP)は、標準POMDPを離散モデル不確実性で拡張する。 本稿では, ME-POMDP を初期信念の集合を用いて POMDP に一般化可能であることを示す。 次に、AB-POMDPのロバストなポリシーを計算するために、正確で近似的な(ポイントベース)アルゴリズムを考案する。
  論文  参考訳（メタデータ） (2025-10-27T18:24:11Z)
• Prescribe-then-Select: Adaptive Policy Selection for Contextual Stochastic Optimization [4.154714580436713]
  本稿では,まず実行可能な候補ポリシーのライブラリを構築し,次に最適なポリシーを選択するためのメタ政治を学習するモジュラーフレームワークを提案する。 我々は、トレーニングセット上でクロスバリデーションによってトレーニングされた最適ポリシーツリーのアンサンブルを使用して、メタポリティクスを実装し、ポリシーの選択を完全にデータ駆動にする。 結果を再現するコードはすべてhttps://anonymous.4open.science/r/Prescribe-then-Select-TMLRにある。
  論文  参考訳（メタデータ） (2025-09-09T23:56:16Z)
• Best-Effort Policies for Robust Markov Decision Processes [69.60742680559788]
  我々は、ロバスト MDP (RMDPs) として知られる遷移確率の組によるマルコフ決定過程(MDPs)の共通一般化について研究する。 このような政策を最適な堅牢なベストプラクティス(ORBE)政策と呼ぶ。 我々はORBEポリシーが常に存在することを証明し、その構造を特徴付け、標準的なロバストな値反復よりも小さなオーバヘッドで計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-08-11T09:18:34Z)
• Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes [59.27926064817273]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し,支配的仮定の下でのグローバルな最終点収束保証を享受する。 制約制御タスクにおいて,アクションベース(C-PGAE)とパラメータベース(C-PGPE)の両方を実証的に検証する。
  論文  参考訳（メタデータ） (2025-06-06T10:29:05Z)
• Convergence of Policy Mirror Descent Beyond Compatible Function Approximation [66.4260157478436]
  我々は,より弱い変動支配を前提とした理論的PMD一般政策クラスを開発し,最良クラス政策への収束を得る。 我々の主観念は、占有度-勾配測度によって誘導される局所ノルムによって誘導される新しい概念を活用する。
  論文  参考訳（メタデータ） (2025-02-16T08:05:46Z)
• Near-Optimal Policy Identification in Robust Constrained Markov Decision Processes via Epigraph Form [26.01796404477275]
  本稿では, 頑健な制約付きMDP (RCMDP) における準最適ポリシーの同定が保証された最初のアルゴリズムを提案する。 最適ポリシーは、一連の環境における最悪のシナリオにおける制約を満たしながら累積コストを最小化する。
  論文  参考訳（メタデータ） (2024-08-29T06:37:16Z)
• Constraint-Generation Policy Optimization (CGPO): Nonlinear Programming for Policy Optimization in Mixed Discrete-Continuous MDPs [21.246169498568342]
  CGPOは、表現力のある非線形力学を持つ多くのDC-MDPに対して、無限の範囲の初期状態に対する有界なポリシーエラーを保証する。 CGPOは、最悪の状態軌跡を生成して、政策上の欠陥を診断し、最適な行動の反実的な説明を提供する。 在庫管理,貯水池管理,物理制御など,各種分野におけるCGPOの適用性について実験的に検証した。
  論文  参考訳（メタデータ） (2024-01-20T07:12:57Z)
• Recursively-Constrained Partially Observable Markov Decision Processes [13.8724466775267]
  C-POMDPは連続的な決定ステップに対して最適なサブ構造特性に反することを示す。 C-POMDPのオンライン再計画は、この違反による不整合のため、しばしば効果がない。 本稿では,C-POMDPに履歴に依存したコスト制約を課す再帰的制約付きPOMDPを提案する。
  論文  参考訳（メタデータ） (2023-10-15T00:25:07Z)
• Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs [107.28031292946774]
  無限水平割引マルコフ決定過程(拘束型MDP)の最適ポリシの計算問題について検討する。 我々は, 最適制約付きポリシーに反復的に対応し, 非漸近収束性を持つ2つの単一スケールポリシーに基づく原始双対アルゴリズムを開発した。 我々の知る限り、この研究は制約付きMDPにおける単一時間スケールアルゴリズムの非漸近的な最後の収束結果となる。
  論文  参考訳（メタデータ） (2023-06-20T17:27:31Z)
• Efficient Policy Iteration for Robust Markov Decision Processes via Regularization [49.05403412954533]
  ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。 最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。 本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
  論文  参考訳（メタデータ） (2022-05-28T04:05:20Z)
• Risk-Averse Decision Making Under Uncertainty [18.467950783426947]
  不確実性条件下での意思決定は、マルコフ決定プロセス(MDP)または部分的に観測可能なMDP(POMDP)を介して記述することができる。 本稿では、動的コヒーレントリスク対策の観点から、MDPとPMDPのポリシーを目的と制約で設計する問題について考察する。
  論文  参考訳（メタデータ） (2021-09-09T07:52:35Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。