論文の概要: Finite-Time Convergence and Regret Guarantees for Neural Reinforcement Learning in POMDPs

• arxiv url: http://arxiv.org/abs/2611.07069v1
• Date: Wed, 04 Nov 2026 19:25:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.437058
• Title: Finite-Time Convergence and Regret Guarantees for Neural Reinforcement Learning in POMDPs
• Title（参考訳）: POMDPにおけるニューラルネットワーク強化学習のための有限時間収束と規則保証
• Abstract要約: 部分観測可能なマルコフ決定過程(POMDP)における強化学習(RL)は、歴史への長距離依存の呪いのため、計算的に困難である。 近年の研究では、フィルタ安定性の仮定を満たす一連のPOMDPは、有限メモリウィンドウにおける切り裂かれた歴史に基づく超状態マルコフ決定過程(MDP)によって、窓の長さとともに崩壊する値ギャップによってうまく近似できることが示されている。 我々は,PMDPにおけるRLアルゴリズムの設計と解析の基礎となる,新しい有限状態 MDP 点近似誤差境界を提案する。
• 参考スコア（独自算出の注目度）: 15.66443423959637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) in Partially Observable Markov Decision Processes (POMDPs) is computationally challenging due to the curse of long-range dependence on history. Fortunately, recent studies have shown that a range of POMDPs that satisfy the filter stability assumption can be well approximated by a superstate Markov Decision Process (MDP) based on a truncated history in a finite-memory window, with a value gap that decays with the window length. However, existing finite-time convergence analyses on such superstate MDP surrogates are either limited to over-simplified linear function approximation or rely on an i.i.d. sampling oracle that is violated by POMDP trajectories, both of which severely limit the applicability of these theoretical results in practice. This motivates us to bridge the gap by investigating RL in POMDPs with nonlinear neural value function approximation. Our main contributions are threefold: i) We first establish a new finite-state MDP point-wise approximation error bound, which lays the foundation for our RL algorithm design and analysis in POMDPs; ii) By applying Temporal-Difference (TD) learning to POMDP-generated superstate transitions and targeting the Bellman fixed point of the superstate MDP, we prove a finite-time critic error bound with nonlinear neural value function approximation; and iii) By combining the neural critic function approximation error bound with the policy mirror descent framework, we obtain a finite-time sublinear regret against the optimal POMDP value. To the best of our knowledge, such a finite-time sublinear regret based on neural function approximation is the first in the literature for finite-memory POMDPs. Our numerical experiments also verify our theoretical results.
• Abstract（参考訳）: 部分観測可能なマルコフ決定過程(POMDP)における強化学習(RL)は、歴史への長距離依存の呪いのため、計算的に困難である。 幸運なことに、最近の研究では、フィルタ安定性の仮定を満たす一連のPOMDPが、有限メモリウィンドウにおける切り裂かれた履歴に基づいて、超状態マルコフ決定過程(MDP)によってうまく近似できることが示されている。 しかし、そのような超状態 MDP 上の既存の有限時間収束解析は、過剰に単純化された線形関数近似に制限されるか、あるいはPOMDP 軌道に反するサンプリングオラクルに依存するかのいずれかであり、どちらも実際にこれらの理論結果の適用性を著しく制限している。 このことは、非線形神経値関数近似を用いたPOMDPのRLを調べることによってギャップを埋める動機となる。 私たちの主な貢献は3倍です。 i) POMDP における RL アルゴリズムの設計と解析の基礎となる新しい有限状態 MDP 点近似誤差境界を確立する。 二 時差学習をPMDP生成超状態遷移に適用し、超状態MDPのベルマン固定点をターゲットにすることにより、非線形神経値関数近似に束縛された有限時間批判誤差を証明し、 三 神経評論家関数近似誤差とポリシミラー降下フレームワークとを組み合わせることにより、最適POMDP値に対する有限時間サブ線形後悔を得る。 我々の知る限りでは、神経関数近似に基づく有限時間サブ線形後悔は、有限メモリPOMDPに関する文献の中では初めてである。 我々の数値実験は、我々の理論的結果も検証する。

関連論文リスト

• Finite-Time Guarantees for Constrained Reinforcement Learning under Partial Observability [13.189144623176405]
  制約付き部分観測可能マルコフ決定過程(CPOMDP)における強化学習の研究 我々は、PMDPの有限メモリ近似の最近の進歩を活用し、制約されたMDPの状態として、有限履歴ウィンドウを表現する。 我々は,最初のCPOMDPにおける平均報酬準最適性と制約違反とを結合した最初の非漸近保証を提供する原始双対アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2026-10-15T09:12:27Z)
• Scalable Policy-Based RL Algorithms for POMDPs [6.2229686397601585]
  我々は、POMDPモデルを有限状態マルコフ決定プロセス(MDP)に近似することにより、部分観測可能強化学習(PORL)問題を解決するアプローチを検討する。 近似誤差はこの履歴の長さとともに指数関数的に減少することを示す。 我々の知識を最大限に活用するために、我々の有限時間境界は、真の力学がマルコフ的でない設定に標準的TD学習を適用する際に導入された誤差を明示的に定量化する最初のものである。
  論文  参考訳（メタデータ） (2025-10-08T00:33:38Z)
• Semiparametric Double Reinforcement Learning with Applications to Long-Term Causal Inference [33.14076284663493]
  短期的なデータから長期的な因果効果を推定しなければならない。 MDPはこのような長期的ダイナミクスを捉えるための自然なフレームワークを提供する。 非パラメトリックな実装は時間間重なりの強い仮定を必要とする。 アイソトニックベルマンキャリブレーションに基づく新しいプラグイン推定器を提案する。
  論文  参考訳（メタデータ） (2025-01-12T20:35:28Z)
• Near-Optimal Learning and Planning in Separated Latent MDPs [70.88315649628251]
  我々は、潜在マルコフ決定過程(LMDP)の計算的および統計的側面について研究する。 このモデルでは、学習者は、未知のMDPの混合から各エポックの開始時に描画されたMDPと相互作用する。
  論文  参考訳（メタデータ） (2024-06-12T06:41:47Z)
• Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
  逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である 本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
  論文  参考訳（メタデータ） (2023-07-01T18:35:21Z)
• Optimality Guarantees for Particle Belief Approximation of POMDPs [55.83001584645448]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、現実の意思決定と制御の問題に対する柔軟な表現を提供する。 POMDPは、特に状態と観測空間が連続的またはハイブリッドである場合、解決するのが非常に難しい。 本稿では,これらのアルゴリズムが使用する粒子フィルタリング手法の近似誤差を特徴付ける理論を提案する。
  論文  参考訳（メタデータ） (2022-10-10T21:11:55Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。