論文の概要: Sequential Monte Carlo for Policy Optimization in Continuous POMDPs

• arxiv url: http://arxiv.org/abs/2505.16732v1
• Date: Thu, 22 May 2025 14:45:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.36149
• Title: Sequential Monte Carlo for Policy Optimization in Continuous POMDPs
• Title（参考訳）: 連続PMDPにおける政策最適化のための連続モンテカルロ
• Authors: Hany Abdulsamad, Sahel Iqbal, Simo Särkkä,
• Abstract要約: 連続的部分観測可能なマルコフ決定プロセス(POMDP)のための新しいポリシー最適化フレームワークを提案する。 本手法は,非マルコフ的ファインマン-カックモデルにおいて,政策学習を確率論的推論とみなす。 提案手法の有効性を,標準連続ポデムPベンチマークで実証する。
• 参考スコア（独自算出の注目度）: 9.690099639375456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimal decision-making under partial observability requires agents to balance reducing uncertainty (exploration) against pursuing immediate objectives (exploitation). In this paper, we introduce a novel policy optimization framework for continuous partially observable Markov decision processes (POMDPs) that explicitly addresses this challenge. Our method casts policy learning as probabilistic inference in a non-Markovian Feynman--Kac model that inherently captures the value of information gathering by anticipating future observations, without requiring extrinsic exploration bonuses or handcrafted heuristics. To optimize policies under this model, we develop a nested sequential Monte Carlo~(SMC) algorithm that efficiently estimates a history-dependent policy gradient under samples from the optimal trajectory distribution induced by the POMDP. We demonstrate the effectiveness of our algorithm across standard continuous POMDP benchmarks, where existing methods struggle to act under uncertainty.
• Abstract（参考訳）: 部分的可観測性の下での最適意思決定は、エージェントが即時目的(探索)を追求することに対して不確実性(探索)を減らすバランスを取る必要がある。 本稿では,この課題に明示的に対処する,連続的部分観測可能なマルコフ決定プロセス(POMDP)のための新しいポリシー最適化フレームワークを提案する。 本手法は,非マルコフ的フェインマン-カックモデルにおいて,外部探索ボーナスや手作りヒューリスティックを必要とせず,将来の観測を予測して情報収集の価値を本質的に捉えた確率論的推論として政策学習を推し進める。 このモデルの下でポリシーを最適化するために,POMDPにより誘導される最適軌跡分布から標本下での履歴依存ポリシー勾配を効率的に推定するネスト付きシーケンシャルモンテカルロ—(SMC)アルゴリズムを開発した。 我々は,既存の手法が不確実性の下で動作するのに苦労する標準的な連続PMDPベンチマークに対して,アルゴリズムの有効性を実証する。

関連論文リスト

• Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [56.92178753201331]
  平均逆無限水平POMDPを未知の遷移モデルで扱う。 この障壁を克服する斬新でシンプルな推定器を提示する。
  論文  参考訳（メタデータ） (2025-01-30T22:29:41Z)
• Deterministic Uncertainty Propagation for Improved Model-Based Offline Reinforcement Learning [12.490614705930676]
  本稿では,ベルマン目標計算によって得られたモンテカルロ試料数に対する準最適性の強い依存性を示す理論的結果を示す。 我々の主な貢献は、進行モーメントマッチングを利用するベルマン目標に対する決定論的近似である。 我々は,既存のモンテカルロサンプリング手法よりもMOMBOの準最適性について,より厳密な保証を提供することが可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:58:41Z)
• Recursively-Constrained Partially Observable Markov Decision Processes [13.8724466775267]
  C-POMDPは連続的な決定ステップに対して最適なサブ構造特性に反することを示す。 C-POMDPのオンライン再計画は、この違反による不整合のため、しばしば効果がない。 本稿では,C-POMDPに履歴に依存したコスト制約を課す再帰的制約付きPOMDPを提案する。
  論文  参考訳（メタデータ） (2023-10-15T00:25:07Z)
• Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
  最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。 このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-03T10:52:21Z)
• Learning non-Markovian Decision-Making from State-only Sequences [57.20193609153983]
  非マルコフ決定過程(nMDP)を用いた状態のみ列のモデルに基づく模倣を開発する。 非マルコフ制約をもつ経路計画課題において提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-06-27T02:26:01Z)
• Stochastic first-order methods for average-reward Markov decision processes [10.023632561462712]
  平均回帰マルコフ決定過程(AMDP)について検討し,政策最適化と政策評価の両面において理論的確証が強い新しい一階法を開発した。 政策評価と政策最適化の部分を組み合わせることで、生成的およびマルコフ的ノイズモデルの両方の下で、AMDPを解くためのサンプル複雑性結果を確立する。
  論文  参考訳（メタデータ） (2022-05-11T23:02:46Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。