論文の概要: Solving Robust POMDPs with Omega-regular Objectives via Partially Observable Stochastic Games
- arxiv url: http://arxiv.org/abs/2608.24986v1
- Date: Tue, 25 Aug 2026 17:30:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.36497
- Title: Solving Robust POMDPs with Omega-regular Objectives via Partially Observable Stochastic Games
- Title（参考訳）: 部分的に観測可能な確率ゲームによるOmega-regular ObjectivesによるロバストPOMDPの解法
- Abstract要約: ロバストPOMDP(RPOMDP)は、古典的なPOMDPを、正確な遷移確率が分かっていないような設定に一般化する。
ポリトピック不確実性集合を持つ(s,a)矩形 RPOMDP に対し、オメガ正則目的の下での RPOMDP の解法は、オメガ正則目的下での部分可観測ゲーム (POSG) の解法に還元可能であることを示す。
- 参考スコア（独自算出の注目度）: 2.9979894869734927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robust POMDPs (RPOMDPs) generalize classical POMDPs to the setting where exact transition probabilities are not known -- rather, they are only known to belong to some uncertainty set of values. In this work, we study the problem of solving RPOMDPs with general omega-regular objectives, which subsume a broad class of objectives such as reachability, safety, and linear temporal logic (LTL) objectives. We show that, for (s,a)-rectangular RPOMDPs with polytopic uncertainty sets, the problem of solving RPOMDPs under omega-regular objectives can be reduced to solving partially observable stochastic games (POSGs) under omega-regular objectives. Moreover, we show for the first time that reductions can be constructed in both directions, establishing the semantic equivalence between (s,a)-rectangular RPOMDPs with polytopic uncertainty sets and POSGs. This allows us to derive a range of new computational complexity results, including both upper and lower complexity bounds, on solving RPOMDPs with different omega-regular objectives. As a corollary, we also derive new computational complexity results for RMDPs.
- Abstract（参考訳）: ロバストPOMDP(RPOMDP)は古典的なPOMDPを、正確な遷移確率が分かっていないような設定に一般化する。
本研究では,リーチビリティ,安全性,線形時間論理(LTL)など,多種多様な目的を仮定した一般のオメガ正則目標を用いたRPOMDPの解法について検討する。
ポリトピックな不確実性集合を持つ(s,a)矩形 RPOMDP の場合、オメガ正則目的の下での RPOMDP の解法は、オメガ正則目的下での部分的に観測可能な確率ゲーム(POSG)の解法に還元できることを示す。
さらに,ポリトピック不確実性集合とPOSGを用いた(s,a)-矩形 RPOMDP 間の意味的等価性を確立することにより,両方向に還元が構築可能であることを示す。
これにより、上と下の両方の複雑性境界を含む新しい計算複雑性の結果を、異なるオメガ正則目的を持つ RPOMDP の解法で導き出すことができる。
結論として,RMDPの計算複雑性の新たな結果も導出する。
関連論文リスト
- Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。
既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。
本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
論文 参考訳（メタデータ） (2025-12-28T05:48:55Z) - Solving the Granularity Mismatch: Hierarchical Preference Learning for Long-Horizon LLM Agents [56.625878022978945]
自律的なエージェントとしての大規模言語モデル(LLM)は、複雑で長期にわたる問題の解決にますます取り組まれている。
直接優先度最適化(DPO)は、正確なクレジット代入には大きすぎる信号を提供するが、ステップレベルのDPOは、しばしば、複数のステップの振る舞いの値をキャプチャするには、筋が通らない。
階層的選好学習(HPL)は、複数の相乗的粒度における選好信号を活用することで、LLMエージェントを最適化する階層的フレームワークである。
論文 参考訳（メタデータ） (2025-09-26T08:43:39Z) - Control Synthesis in Partially Observable Environments for Complex Perception-Related Objectives [2.7038841665524846]
本研究は、部分的に観測可能なマルコフ決定プロセスによってモデル化された環境における知覚関連目的のための最適なポリシーを合成する問題について研究する。
提案手法は,mboxsc-iLTL の目的を mboxsc-iLTL の目的を,信念 MDP の積と sc-iLTL の目的から構築した決定論的有限オートマトンを構築することにより,到達可能性の目標に変換することである。
製品によるスケーラビリティの課題を克服するため,モンテカルロ木探索法(MCTS)を導入する。
論文 参考訳（メタデータ） (2025-06-27T22:02:07Z) - Towards Instance-Optimality in Online PAC Reinforcement Learning [28.156332484814616]
そこで本研究では,PACの同定に要するサンプルの複雑さに対する最初のインスタンス依存下限について提案する。
我々は、citeWagenmaker22linearMDPのPEDELアルゴリズムのサンプル複雑さがこの下界に近づいたことを実証する。
論文 参考訳（メタデータ） (2023-10-31T19:26:36Z) - A PAC Learning Algorithm for LTL and Omega-regular Objectives in MDPs [5.946838062187346]
意思決定プロセス(MDP)におけるオメガ規則目的のためのモデルベース近似ほぼ正(PAC)学習アルゴリズムを提案する。
我々のアルゴリズムは、我々の理論を裏付ける実験を行うために、多くのサンプルしか必要としていないことを証明している。
論文 参考訳（メタデータ） (2023-10-18T18:33:41Z) - Provably Efficient Algorithm for Nonstationary Low-Rank MDPs [48.92657638730582]
我々は,非定常RLを,遷移カーネルと報酬の両方が時間とともに変化するような,エピソードな低ランクMDPで調査する最初の試みを行っている。
本稿では,パラメータ依存型ポリシ最適化アルゴリズムである Portal を提案し,パラメータフリー版である Ada-Portal の Portal をさらに改良する。
両アルゴリズムとも,非定常性が著しく大きくない限り, Portal と Ada-PortAL はサンプリング効率が良く,サンプリング複雑性を伴う平均的動的準最適ギャップを任意に小さく得ることを示す。
論文 参考訳（メタデータ） (2023-08-10T09:52:44Z) - PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。
本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。
その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-08-03T18:03:44Z) - Unconstrained Dynamic Regret via Sparse Coding [46.85145189210752]
オンライン凸最適化(OCO)を2つの問題構造の結合の下で検討した。
本稿では, スパースコーディングフレームワークを用いて, 適応的再帰境界を新たに実現した。
論文 参考訳（メタデータ） (2023-01-31T00:52:14Z) - Optimistic MLE -- A Generic Model-based Algorithm for Partially
Observable Sequential Decision Making [48.87943416098096]
本稿では,一般的な逐次決定のための簡単な学習アルゴリズムを提案する。
我々は,OMLEが極めて豊富な逐次的意思決定問題のクラスにおいて,ほぼ最適ポリシーを学習していることを証明する。
論文 参考訳（メタデータ） (2022-09-29T17:56:25Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳（メタデータ） (2022-09-15T07:22:58Z) - Reinforcement Learning for General LTL Objectives Is Intractable [10.69663517250214]
我々は、マルコフ決定プロセス(PACMDP)フレームワークにおいて、おそらく正しい学習の下で問題を定式化する。
この結果から, 強化学習アルゴリズムでは, 学習ポリシーの性能に対するPAC-MDP保証を得ることは不可能であることが示唆された。
論文 参考訳（メタデータ） (2021-11-24T18:26:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。