論文の概要: Adaptive Policy Portfolios for Robust Markov Decision Processes
- arxiv url: http://arxiv.org/abs/2608.17929v1
- Date: Tue, 18 Aug 2026 15:50:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.39168
- Title: Adaptive Policy Portfolios for Robust Markov Decision Processes
- Title（参考訳）: ロバストマルコフ決定プロセスのための適応的政策ポートフォリオ
- Abstract要約: 我々は、オフラインで合成され、軽量なオンラインセレクタと組み合わせられた、メモリレスランダム化ポリシーの有限組のアダプティブポリシーポートフォリオについて研究する。
頑健さの後悔は、ポートフォリオの品質の自然な尺度です。 もっともらしい環境ごとに、最高のポートフォリオメンバーの損失を測定します。
- 参考スコア（独自算出の注目度）: 10.242120715669335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robust Markov decision processes optimize one policy against a set of plausible transition functions. This can be conservative when the unknown dynamics are fixed and become partially identifiable after deployment. We study adaptive policy portfolios: finite sets of memoryless randomized policies synthesized offline and paired with a lightweight online selector. Robust regret is a natural measure of portfolio quality: for each plausible environment, it measures the loss of the best portfolio member relative to the policy that would have been optimal had that environment been known. Related regret objectives were studied by Ghavamzadeh et al. (2016) with an emphasis on approximations and relaxations for safe policy improvement. We give a complexity-theoretic account of portfolio certification and synthesis. Certifying a given portfolio is $\forall\mathbb{R}$-complete already for deterministic portfolios in acyclic (s,a)-rectangular RMDPs. Synthesizing a portfolio of unary-bounded size is $\exists\forall\mathbb{R}$-complete for general rational polytopes, even with fixed discount and acyclic dynamics. The single-policy case is already hard, both combinatorially and algebraically. Finally, we present an offline portfolio construction that is amenable to runtime specialization.
- Abstract（参考訳）: ロバスト・マルコフ決定過程は、可算遷移関数の集合に対して一つのポリシーを最適化する。
未知のダイナミクスが固定され、デプロイ後に部分的に識別可能になった場合、これは保守的になる可能性がある。
我々は、オフラインで合成され、軽量なオンラインセレクタと組み合わせられた、メモリレスランダム化ポリシーの有限組のアダプティブポリシーポートフォリオについて研究する。
残酷な後悔は、ポートフォリオの品質の自然な尺度である。各可愛らしい環境に対して、その環境が分かっていれば、最適であったであろう方針に対する最高のポートフォリオメンバーの損失を測定する。
Ghavamzadeh et al (2016)により、安全な政策改善のための近似と緩和に焦点を当てて、関連する後悔の目標が研究された。
ポートフォリオの認証と合成を複雑理論で説明します。
与えられたポートフォリオの認証は$\forall\mathbb{R}$-completeであり、非巡回(s,a)正方形RMDPにおける決定論的ポートフォリオに対して既に成立している。
一項有界なサイズのポートフォリオを合成することは、固定割引や非巡回力学でさえも、一般的な有理ポリトープに対して$\exists\forall\mathbb{R}$-completeである。
単一政治のケースは、組合せ的にも代数的にも、既に困難である。
最後に、ランタイムの特殊化に適したオフラインポートフォリオ構築を提案する。
関連論文リスト
- Quantitative Analysis of $ω$-Regular Robust MDPs [8.858048243097203]
直交的に定義された不確実性集合を持つ$(s,a)$-矩形RMDPについて検討し、パリティ目的について検討する。
定量的な値は、すべてのエージェントポリシーの上限であり、敵環境に対して保証される満足度確率である。
エージェントと環境の両方が、純粋なメモリレス最適ポリシーを受け入れていることを示す。
論文 参考訳（メタデータ） (2026-08-26T16:26:13Z) - $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。
我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-07-30T17:41:16Z) - Deterministic Pareto-Optimal Policy Synthesis for Multi-Objective Reinforcement Learning [3.960587756853285]
我々は、チェビシェフのスカラー化から動機付けられた新しい選好条件のベルマン作用素を導入する。
これらの収束Q推定値から決定論的ポリシーを抽出する方法を示す。
実験により,本アルゴリズムは複雑なトレードオフを回復することを確認した。
論文 参考訳（メタデータ） (2026-06-24T21:28:49Z) - Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。
我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。
7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文 参考訳（メタデータ） (2026-05-20T15:14:14Z) - See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection [51.59559387222532]
エンドツーエンド自動運転の最近の進歩は、パッチアライメント機能で訓練されたポリシーが、アウト・オブ・ディストリビューション(OOD)よりも一般化していることを示している。
我々は、より堅牢で、一般化可能で、効率的な学習ポリシーのためのシンプルで効果的なアプローチである2.4-Patch-Selection(SPS)を提案する。
論文 参考訳（メタデータ） (2026-01-15T18:58:33Z) - Best-Effort Policies for Robust Markov Decision Processes [69.60742680559788]
我々は、ロバスト MDP (RMDPs) として知られる遷移確率の組によるマルコフ決定過程(MDPs)の共通一般化について研究する。
このような政策を最適な堅牢なベストプラクティス(ORBE)政策と呼ぶ。
我々はORBEポリシーが常に存在することを証明し、その構造を特徴付け、標準的なロバストな値反復よりも小さなオーバヘッドで計算するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-08-11T09:18:34Z) - Convergence of Policy Mirror Descent Beyond Compatible Function Approximation [66.4260157478436]
我々は,より弱い変動支配を前提とした理論的PMD一般政策クラスを開発し,最良クラス政策への収束を得る。
我々の主観念は、占有度-勾配測度によって誘導される局所ノルムによって誘導される新しい概念を活用する。
論文 参考訳（メタデータ） (2025-02-16T08:05:46Z) - Model-Free, Regret-Optimal Best Policy Identification in Online CMDPs [17.62509045102346]
本稿では,CMDP(Constrained Markov Decision Processs)における最適ポリシー識別問題について考察する。
私たちは、モデルフリーで、後悔の少ないアルゴリズムに興味を持ち、確率の高いほぼ最適なポリシーを特定しています。
オンラインCMDPのサブ線形後悔と制約違反を伴う既存のモデルフリーアルゴリズムでは、最適ポリシーに対する収束保証は提供されない。
論文 参考訳（メタデータ） (2023-09-27T04:33:09Z) - Regret Distribution in Stochastic Bandits: Optimal Trade-off between Expectation and Tail Risk [26.397343668067382]
我々は,多武装バンディットモデルにおける後悔分布の予測とテールリスクの最適トレードオフについて検討した。
任意の後悔しきい値に対する最適な後悔の尾の確率を特徴付けるために、新しいポリシーが提案されている。
論文 参考訳（メタデータ） (2023-04-10T01:00:18Z) - Efficient Policy Iteration for Robust Markov Decision Processes via
Regularization [49.05403412954533]
ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。
最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。
本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
論文 参考訳（メタデータ） (2022-05-28T04:05:20Z) - Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds
Globally Optimal Policy [95.98698822755227]
本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。
本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-28T05:02:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。