論文の概要: From POMDP Theory to Deep RL with Particle Filters

• arxiv url: http://arxiv.org/abs/2610.27575v1
• Date: Tue, 20 Oct 2026 03:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.620085
• Title: From POMDP Theory to Deep RL with Particle Filters
• Title（参考訳）: POMDP理論から粒子フィルタを用いた深部RLへ
• Abstract要約: 本稿では,モンテカルロ (SMC) を用いた隠れ状態フィルタリング問題を大まかに解決する実用的なエンドツーエンドアルゴリズムを提案する。 我々は,各近似を解析し,誤差をモデル推定誤差,粒子フィルタ誤差,モンテカルロロールアウト誤差,および様々な特殊事例においてさらに解析可能な計画深さで制御可能なQMDP近似によって誘導される構造バイアス項に限定する。 この結果は,POMDPのオンライン意思決定におけるブリッジ理論と実践を実践的かつ理論的に基礎づけた経路を提供する。
• 参考スコア（独自算出の注目度）: 9.203914874397825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model-based reinforcement learning in partially observable environments requires inferring hidden states, learning latent dynamics, and planning under the resulting belief. Practical algorithms often solve one aspect of the above pipeline while relying on approximations for the others that are often poorly understood, while existing POMDP theory typically analyzes computationally inefficient theoretical algorithms far from modern deep RL practice. To fill this gap, we propose a practical end-to-end algorithm that approximately solves the hidden state filtering problem via sequential Monte Carlo (SMC), updates a latent dynamics model online, and performs approximate online planning for $d$ steps before bootstrapping leaves with a state-value critic (a QMDP approximation). We analyze each approximation and prove an end-to-end regret bound decomposing the error into model estimation error, particle filter error, Monte Carlo rollout error, and a structural bias term induced by the QMDP approximation controllable by the planning depth that we further analyze in various special cases. The resulting guarantee makes explicit how statistical sample size, particle budget, rollout budget, and planning depth affect performance. We instantiate our algorithm in an MPC-based deep RL framework, demonstrating its practicality on a variety of environments. On a POMDP that satisfies our assumptions, each term of the bound decays at its predicted rate. Our results provide a practical and theoretically grounded route for bridging theory and practice within online decision-making in POMDPs.
• Abstract（参考訳）: 部分的に観測可能な環境でのモデルに基づく強化学習には、隠れた状態の推測、潜伏ダイナミクスの学習、そして結果として生じる信念の下での計画が必要である。 実践的なアルゴリズムは、しばしば上記のパイプラインの1つの側面を解き、しばしば理解されていない他の部分の近似に依存するが、既存のPOMDP理論は通常、計算的に非効率な理論的アルゴリズムを現代の深いRLの実践から遠ざかっている。 このギャップを埋めるために、シーケンシャルモンテカルロ (SMC) による隠れ状態フィルタリング問題を概ね解決し、オンラインの潜伏力学モデルを更新し、状態値批判者(QMDP近似)とともに葉をブートストラップする前に、約$d$ステップのオンライン計画を実行する、実用的なエンドツーエンドアルゴリズムを提案する。 本研究では,各近似を解析し,誤差をモデル推定誤差,粒子フィルタ誤差,モンテカルロロールアウト誤差,および計画深度によって制御可能なQMDP近似によって誘導される構造的バイアス項に分解した。 その結果得られた保証は、統計的サンプルサイズ、粒子予算、ロールアウト予算、計画の深さがパフォーマンスにどのように影響するかを明確にする。 MPCベースのディープRLフレームワークでアルゴリズムをインスタンス化し、様々な環境でその実用性を実証する。 我々の仮定を満たすPOMDPでは、境界のそれぞれの項はその予測された速度で崩壊する。 この結果は,POMDPのオンライン意思決定におけるブリッジ理論と実践を実践的かつ理論的に基礎づけた経路を提供する。

関連論文リスト

• Model-Based Learning of Near-Optimal Finite-Window Policies in POMDPs [8.784438985280092]
  部分的に観測可能なマルコフ決定過程(POMDP)における有限ウィンドウポリシーのモデルに基づく学習について検討する。 部分的可観測性の下での学習の一般的なアプローチは、有限の行動観測窓を用いて履歴依存を近似することである。 この超状態 MDP のモデルが利用可能になると、標準的な MDP アルゴリズムを使って最適なポリシーを計算できる。
  論文  参考訳（メタデータ） (2026-04-01T15:32:47Z)
• Efficient Learning of POMDPs with Known Observation Model in Average-Reward Setting [56.92178753201331]
  我々は,POMDPパラメータを信念に基づくポリシを用いて収集したサンプルから学習することのできる観測・認識スペクトル(OAS)推定手法を提案する。 提案するOAS-UCRLアルゴリズムに対して,OASプロシージャの整合性を示し,$mathcalO(sqrtT log(T)$の残差保証を証明した。
  論文  参考訳（メタデータ） (2024-10-02T08:46:34Z)
• Learning Logic Specifications for Policy Guidance in POMDPs: an Inductive Logic Programming Approach [57.788675205519986]
  我々は任意の解法によって生成されるPOMDP実行から高品質なトレースを学習する。 我々は、データと時間効率のIndu Logic Programming(ILP)を利用して、解釈可能な信念に基づくポリシー仕様を生成する。 ASP(Answer Set Programming)で表現された学習は、ニューラルネットワークよりも優れた性能を示し、より少ない計算時間で最適な手作りタスクに類似していることを示す。
  論文  参考訳（メタデータ） (2024-02-29T15:36:01Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes [13.466249082564213]
  本稿では,全情報フィードバックを用いた表層線形MDPに対するPPOの楽観的変種を提案する。 既存のポリシーベースのアルゴリズムと比較して, 線形MDPと逆線形MDPの双方において, 完全な情報付きで, 最先端の後悔点を達成している。
  論文  参考訳（メタデータ） (2023-05-15T17:55:24Z)
• CAR-DESPOT: Causally-Informed Online POMDP Planning for Robots in Confounded Environments [5.979296454783688]
  正確で堅牢な行動予測を行う上での大きな課題は、コンファウンディングの問題である。 部分的に観測可能なマルコフ決定プロセス(POMDP)は、これらと部分的に観測可能な意思決定問題をモデル化するための広く使われているフレームワークである。 本稿では,不測な共同設立変数による誤りを解消するために,「常時正規化決定された部分観測木」(AR-DESPOT)の因果的インフォームド拡張を提案する。
  論文  参考訳（メタデータ） (2023-04-13T22:32:21Z)
• Optimality Guarantees for Particle Belief Approximation of POMDPs [55.83001584645448]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、現実の意思決定と制御の問題に対する柔軟な表現を提供する。 POMDPは、特に状態と観測空間が連続的またはハイブリッドである場合、解決するのが非常に難しい。 本稿では,これらのアルゴリズムが使用する粒子フィルタリング手法の近似誤差を特徴付ける理論を提案する。
  論文  参考訳（メタデータ） (2022-10-10T21:11:55Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。