論文の概要: Model-Based Learning of Near-Optimal Finite-Window Policies in POMDPs

• arxiv url: http://arxiv.org/abs/2604.01024v1
• Date: Wed, 01 Apr 2026 15:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:32.059188
• Title: Model-Based Learning of Near-Optimal Finite-Window Policies in POMDPs
• Title（参考訳）: POMDPにおける準最適有限Window Policiesのモデルベース学習
• Authors: Philip Jordan, Maryam Kamgarpour,
• Abstract要約: 部分的に観測可能なマルコフ決定過程(POMDP)における有限ウィンドウポリシーのモデルに基づく学習について検討する。 部分的可観測性の下での学習の一般的なアプローチは、有限の行動観測窓を用いて履歴依存を近似することである。 この超状態 MDP のモデルが利用可能になると、標準的な MDP アルゴリズムを使って最適なポリシーを計算できる。
• 参考スコア（独自算出の注目度）: 8.784438985280092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study model-based learning of finite-window policies in tabular partially observable Markov decision processes (POMDPs). A common approach to learning under partial observability is to approximate unbounded history dependencies using finite action-observation windows. This induces a finite-state Markov decision process (MDP) over histories, referred to as the superstate MDP. Once a model of this superstate MDP is available, standard MDP algorithms can be used to compute optimal policies, motivating the need for sample-efficient model estimation. Estimating the superstate MDP model is challenging because trajectories are generated by interaction with the original POMDP, creating a mismatch between the sampling process and target model. We propose a model estimation procedure for tabular POMDPs and analyze its sample complexity. Our analysis exploits a connection between filter stability and concentration inequalities for weakly dependent random variables. As a result, we obtain tight sample complexity guarantees for estimating the superstate MDP model from a single trajectory. Combined with value iteration, this yields approximately optimal finite-window policies for the POMDP.
• Abstract（参考訳）: 表層部分観測可能なマルコフ決定過程(POMDP)における有限ウィンドウポリシーのモデルベース学習について検討した。 部分的可観測性の下での学習の一般的なアプローチは、有限のアクション・オブザーブレーションウィンドウを用いて、非有界な履歴依存を近似することである。 これは、超状態 MDP と呼ばれる歴史上の有限状態マルコフ決定過程(MDP)を誘導する。 この超状態 MDP のモデルが利用可能になると、標準の MDP アルゴリズムは最適なポリシーを計算し、サンプル効率のモデル推定の必要性を動機付けることができる。 超状態MDPモデルの推定は、元のPOMDPとの相互作用によって軌道が生成され、サンプリングプロセスとターゲットモデルとのミスマッチが生じるため、困難である。 本稿では,表付きPOMDPのモデル推定手法を提案し,その複雑さを解析する。 本分析では,弱依存確率変数に対するフィルタ安定性と濃度不等式との関連性を利用する。 その結果、単一軌道から超状態MDPモデルを推定するための厳密なサンプル複雑性保証が得られる。 値反復と組み合わせることで、POMDPに対するほぼ最適な有限ウィンドウポリシーが得られる。

関連論文リスト

• Scalable Policy-Based RL Algorithms for POMDPs [6.2229686397601585]
  我々は、POMDPモデルを有限状態マルコフ決定プロセス(MDP)に近似することにより、部分観測可能強化学習(PORL)問題を解決するアプローチを検討する。 近似誤差はこの履歴の長さとともに指数関数的に減少することを示す。 我々の知識を最大限に活用するために、我々の有限時間境界は、真の力学がマルコフ的でない設定に標準的TD学習を適用する際に導入された誤差を明示的に定量化する最初のものである。
  論文  参考訳（メタデータ） (2025-10-08T00:33:38Z)
• Efficient Learning of POMDPs with Known Observation Model in Average-Reward Setting [56.92178753201331]
  我々は,POMDPパラメータを信念に基づくポリシを用いて収集したサンプルから学習することのできる観測・認識スペクトル(OAS)推定手法を提案する。 提案するOAS-UCRLアルゴリズムに対して,OASプロシージャの整合性を示し,$mathcalO(sqrtT log(T)$の残差保証を証明した。
  論文  参考訳（メタデータ） (2024-10-02T08:46:34Z)
• Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
  予測可能なMDP抽象化(PMA)を提案する。 元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。 我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-02-08T07:37:51Z)
• A multilevel reinforcement learning framework for PDE based control [0.2538209532048867]
  強化学習(RL)は制御問題を解くための有望な方法である。 モデルフリーなRLアルゴリズムは、サンプル非効率であり、最適な制御ポリシーを学ぶために、数百万のサンプルを必要としない何千ものサンプルを必要とする。 本稿では,粗いスケールの離散化に対応するサブレベルモデルを活用することで,コストの低減を図るため,マルチレベルRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T23:52:48Z)
• Optimality Guarantees for Particle Belief Approximation of POMDPs [55.83001584645448]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、現実の意思決定と制御の問題に対する柔軟な表現を提供する。 POMDPは、特に状態と観測空間が連続的またはハイブリッドである場合、解決するのが非常に難しい。 本稿では,これらのアルゴリズムが使用する粒子フィルタリング手法の近似誤差を特徴付ける理論を提案する。
  論文  参考訳（メタデータ） (2022-10-10T21:11:55Z)
• Bayesian regularization of empirical MDPs [11.3458118258705]
  ベイズ的な視点を採り、マルコフ決定プロセスの目的関数を事前情報で正規化する。 提案するアルゴリズムは,大規模オンラインショッピングストアの合成シミュレーションと実世界の検索ログに基づいて評価する。
  論文  参考訳（メタデータ） (2022-08-03T22:02:50Z)
• Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes [0.0]
  システム力学と測定チャネルモデルが知られていると仮定したPOMDPの計画問題について検討する。 軽度非線形フィルタ安定性条件下で近似的信念モデルに対する最適ポリシーを求める。 また、有限ウィンドウメモリサイズと近似誤差境界を関連づけた収束結果のレートを確立する。
  論文  参考訳（メタデータ） (2020-10-15T00:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。