論文の概要: Recurrent Natural Policy Gradient for POMDPs

• arxiv url: http://arxiv.org/abs/2405.18221v2
• Date: Thu, 09 Oct 2025 14:32:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.465632
• Title: Recurrent Natural Policy Gradient for POMDPs
• Title（参考訳）: POMDPの繰り返し自然政策のグラディエント
• Authors: Semih Cayci, Atilla Eryilmaz,
• Abstract要約: 部分観測可能なマルコフ決定過程(POMDP)の解法は、強化学習(RL)における根本的な課題である。 本稿では,リカレントニューラルネットワーク(RNN)アーキテクチャを自然ポリシー勾配(NPG)法と時間差学習(TD)法に統合するナチュラルアクタ・クリティカル(NAC)アルゴリズムについて検討する。 提案手法は,関数近似への大域的最適性を実現するために,サンプル反復と複雑性のバウンドを含む,漸近的でない理論的保証を提供する。
• 参考スコア（独自算出の注目度）: 18.619204672433998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Solving partially observable Markov decision processes (POMDPs) remains a fundamental challenge in reinforcement learning (RL), primarily due to the curse of dimensionality induced by the non-stationarity of optimal policies. In this work, we study a natural actor-critic (NAC) algorithm that integrates recurrent neural network (RNN) architectures into a natural policy gradient (NPG) method and a temporal difference (TD) learning method. This framework leverages the representational capacity of RNNs to address non-stationarity in RL to solve POMDPs while retaining the statistical and computational efficiency of natural gradient methods in RL. We provide non-asymptotic theoretical guarantees for this method, including bounds on sample and iteration complexity to achieve global optimality up to function approximation. Additionally, we characterize pathological cases that stem from long-term dependencies, thereby explaining limitations of RNN-based policy optimization for POMDPs.
• Abstract（参考訳）: 部分的に観測可能なマルコフ決定過程(POMDP)を解くことは、主に最適政策の非定常性によって引き起こされる次元性の呪いにより、強化学習(RL)における根本的な課題である。 本研究では,リカレントニューラルネットワーク(RNN)アーキテクチャを自然ポリシー勾配(NPG)法と時間差学習(TD)法に統合するナチュラルアクタ・クリティカル(NAC)アルゴリズムについて検討する。 このフレームワークは、RLの非定常性に対応するためにRNNの表現能力を活用し、RLの自然勾配法の統計的および計算的効率を維持しながら、POMDPを解く。 本手法は,関数近似への大域的最適性を実現するために,サンプルとイテレーションの複雑さの制限を含む,漸近的でない理論的保証を提供する。 さらに,長期的依存から生じる病理症例を特徴付けるとともに,PMDPに対するRNNベースの政策最適化の限界を説明する。

関連論文リスト

• Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes [59.27926064817273]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し,支配的仮定の下でのグローバルな最終点収束保証を享受する。 制約制御タスクにおいて,アクションベース(C-PGAE)とパラメータベース(C-PGPE)の両方を実証的に検証する。
  論文  参考訳（メタデータ） (2025-06-06T10:29:05Z)
• Reinforcement Learning with Continuous Actions Under Unmeasured Confounding [14.510042451844766]
  本稿では,連続行動空間を用いた強化学習におけるオフライン政策学習の課題に対処する。 我々は,ミニマックス推定器を開発し,クラス内最適ポリシーを特定するためのポリシー勾配に基づくアルゴリズムを提案する。 得られた最適方針の整合性、有限サンプル誤差境界、後悔境界に関する理論的結果を提供する。
  論文  参考訳（メタデータ） (2025-05-01T04:55:29Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Joint Admission Control and Resource Allocation of Virtual Network Embedding via Hierarchical Deep Reinforcement Learning [69.00997996453842]
  本稿では,仮想ネットワークの埋め込みにおいて,入出力制御と資源配分を併用して学習する深層強化学習手法を提案する。 HRL-ACRAは,受入率と長期平均収益の両面で,最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-25T07:42:30Z)
• Intelligent Hybrid Resource Allocation in MEC-assisted RAN Slicing Network [72.2456220035229]
  我々は,協調型MEC支援RANスライシングシステムにおける異種サービス要求に対するSSRの最大化を目指す。 最適ハイブリッドRAポリシーをインテリジェントに学習するためのRGRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-02T01:36:13Z)
• High-probability sample complexities for policy evaluation with linear function approximation [88.87036653258977]
  本研究では,2つの広く利用されている政策評価アルゴリズムに対して,最適線形係数の予め定義された推定誤差を保証するために必要なサンプル複素量について検討する。 高確率収束保証に縛られた最初のサンプル複雑性を確立し、許容レベルへの最適依存を実現する。
  論文  参考訳（メタデータ） (2023-05-30T12:58:39Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Finite-Time Analysis of Entropy-Regularized Neural Natural Actor-Critic Algorithm [29.978816372127085]
  ニューラルネットワーク近似を用いたNatural actor-critic (NAC) の有限時間解析を行った。 ニューラルネットワーク,正規化,最適化技術の役割を特定し,優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-06-02T02:13:29Z)
• Occupancy Information Ratio: Infinite-Horizon, Information-Directed, Parameterized Policy Search [21.850348833971722]
  我々は、占領情報比(OIR)と呼ばれる、無限水平強化学習(RL)のための情報指向型目標を提案する。 OIRは、豊富な基盤構造を享受し、スケーラブルでモデルフリーなポリシーサーチ手法が自然に適用される目的を示す。 準コンカベ最適化と線形プログラミング理論をマルコフ決定過程に利用することにより、基礎となるモデルが知られている場合、OIR問題をコンカベプログラミング手法で変換・解けることを示す。
  論文  参考訳（メタデータ） (2022-01-21T18:40:03Z)
• On Finite-Sample Analysis of Offline Reinforcement Learning with Deep ReLU Networks [46.067702683141356]
  深層RELUネットワークを用いたオフライン強化学習の統計理論について検討する。 我々は,オフラインデータの分布変化,入力空間の次元,システムの正則性がOPE推定誤差を制御する方法の定量化を行う。
  論文  参考訳（メタデータ） (2021-03-11T14:01:14Z)
• Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach [78.05638156687343]
  本稿では,POMCPポリシーをトレースを検査して分析する手法を提案する。 提案手法は, 政策行動の局所的特性を探索し, 予期せぬ決定を識別する。 我々は,POMDPの標準ベンチマークであるTigerに対するアプローチと,移動ロボットナビゲーションに関する現実の問題を評価した。
  論文  参考訳（メタデータ） (2020-12-23T15:09:28Z)
• A Study of Policy Gradient on a Class of Exactly Solvable Models [35.90565839381652]
  我々は、厳密な解決可能なPOMDPの特別なクラスに対して、ポリシーパラメータの進化を連続状態マルコフ連鎖として検討する。 我々のアプローチはランダムウォーク理論、特にアフィンワイル群に大きく依存している。 我々は,政策勾配の確率収束を,値関数の局所的最大値に対して解析する。
  論文  参考訳（メタデータ） (2020-11-03T17:27:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。