Fugu-MT 論文翻訳(概要): Operator-Theoretic Foundations and Policy Gradient Methods for General MDPs with Unbounded Costs

論文の概要: Operator-Theoretic Foundations and Policy Gradient Methods for General MDPs with Unbounded Costs

arxiv url: http://arxiv.org/abs/2603.17875v1
Date: Wed, 18 Mar 2026 16:01:49 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-19 18:32:57.809545
Title: Operator-Theoretic Foundations and Policy Gradient Methods for General MDPs with Unbounded Costs
Title（参考訳）: 非有界コストの一般MDPに対する演算子理論の基礎と政策勾配法
Abstract要約: マルコフ決定過程(MDPs)は、一般関数空間上のある線型作用素に対する目的関数の最適化と見なされる。この観点では、線形作用素のよく確立された摂動理論を用いて、目的関数の微分を線型作用素の函数として特定することができる。これにより、状態空間と行動空間を生成するケースに対する強化学習において、よく知られた多くの結果が一般化される。
参考スコア（独自算出の注目度）: 9.643093537980624
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Markov decision processes (MDPs) is viewed as an optimization of an objective function over certain linear operators over general function spaces. Using the well-established perturbation theory of linear operators, this viewpoint allows one to identify derivatives of the objective function as a function of the linear operators. This leads to generalization of many well-known results in reinforcement learning to cases with generate state and action spaces. Prior results of this type were only established in the finite-state finite-action MDP settings and in settings with certain linear function approximations. The framework also leads to new low-complexity PPO-type reinforcement learning algorithms for general state and action space MDPs.
Abstract（参考訳）: マルコフ決定過程(MDPs)は、一般関数空間上のある線型作用素に対する目的関数の最適化と見なされる。この観点では、線形作用素のよく確立された摂動理論を用いて、目的関数の微分を線型作用素の函数として特定することができる。これにより、状態空間と行動空間を生成するケースに対する強化学習において、よく知られた多くの結果が一般化される。このタイプの以前の結果は有限状態有限作用 MDP 設定とある種の線形関数近似による設定でのみ確立された。このフレームワークは、一般状態および行動空間 MDP のための新しい低複雑さ PPO 型強化学習アルゴリズムにも繋がる。

関連論文リスト

Operator World Models for Reinforcement Learning [37.69110422996011]
Policy Mirror Descent (PMD) は、シーケンシャルな意思決定のための強力で理論的に健全な方法論である。明示的なアクション値関数が利用できないため、強化学習(Reinforcement Learning, RL)には直接適用できない。本研究では,条件付き平均埋め込みを用いた環境のワールドモデル学習に基づく新しいアプローチを提案する。
論文参考訳（メタデータ） (2024-06-28T12:05:47Z)
Convergence of Natural Policy Gradient for a Family of Infinite-State Queueing MDPs [14.14642081068942]
様々な待ち行列系は自然に無限状態マルコフ決定過程(MDP)としてモデル化できる強化学習(RL)の文脈では、これらのMDPを学習し、最適化するために様々なアルゴリズムが開発されている。ナチュラル・アクター・クリティカル、TRPO、PPOなど、多くの一般的なポリシーに基づく学習アルゴリズムの中心に、Natural Policy Gradient(NPG)ポリシー最適化アルゴリズムがある。
論文参考訳（メタデータ） (2024-02-07T21:43:57Z)
Beyond Average Return in Markov Decision Processes [49.157108194438635]
我々は、分散強化学習(DistRL)のより一般的なフレームワークであっても、一般化された手段のみが正確に最適化可能であることを証明した。得られた推定器の誤差境界を提供し、このアプローチの潜在的な可能性とその限界について議論する。
論文参考訳（メタデータ） (2023-10-31T08:36:41Z)
Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文参考訳（メタデータ） (2023-07-08T15:41:48Z)
Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
論文参考訳（メタデータ） (2023-07-01T18:35:21Z)
Non-stationary Reinforcement Learning under General Function Approximation [60.430936031067006]
まず,非定常MDPに対する動的ベルマンエルダー次元(DBE)と呼ばれる新しい複雑性指標を提案する。提案する複雑性指標に基づいて,SW-OPEAと呼ばれる新しい信頼度セットに基づくモデルフリーアルゴリズムを提案する。 SW-OPEAは,変動予算がそれほど大きくない限り,有効に有効であることを示す。
論文参考訳（メタデータ） (2023-06-01T16:19:37Z)
Policy Gradient Algorithms Implicitly Optimize by Continuation [7.351769270728942]
我々は、政策段階的なアルゴリズムの探索は、目の前にある政策の回帰の継続であり、その回帰を最大化するよりも、政策は歴史に依存しているべきだと論じる。
論文参考訳（メタデータ） (2023-05-11T14:50:20Z)
Global Algorithms for Mean-Variance Optimization in Markov Decision Processes [8.601670707452083]
マルコフ決定過程(MDP)における平均と分散の動的最適化は、動的プログラミングの失敗によって引き起こされる長年にわたる課題である。本研究では, 定常平均値と分散値の組合せを組み合わさって, 無限水平非分散MDPの最適解を求める手法を提案する。
論文参考訳（メタデータ） (2023-02-27T12:17:43Z)
ACPO: A Policy Optimization Algorithm for Average MDPs with Constraints [36.16736392624796]
平均基準付き制約付きMDPに対する関数近似アルゴリズムを用いた新しいポリシー最適化を提案する。我々は,平均CMDPに対する基本感度理論を開発し,それに対応する境界をアルゴリズムの設計に用いた。 ACMDPに適応した他の最先端アルゴリズムと比較して,実験性能が優れていることを示す。
論文参考訳（メタデータ） (2023-02-02T00:23:36Z)
Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
論文参考訳（メタデータ） (2022-12-19T22:43:08Z)
Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文参考訳（メタデータ） (2022-09-15T07:22:58Z)
Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
論文参考訳（メタデータ） (2022-04-20T21:15:38Z)
Non-Linear Reinforcement Learning in Large Action Spaces: Structural Conditions and Sample-efficiency of Posterior Sampling [28.371541697552928]
一般作用空間を線形埋め込み性条件下で保持する非線形関数近似の最初の結果を示す。最悪の場合,RL問題のランクパラメータでスケールが保証される。
論文参考訳（メタデータ） (2022-03-15T20:50:26Z)
Average-Reward Off-Policy Policy Evaluation with Function Approximation [66.67075551933438]
平均報酬MDPの関数近似によるオフポリシ政策評価を検討する。ブートストラップは必要であり、オフポリシ学習とFAと一緒に、致命的なトライアドをもたらす。そこで本研究では,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-01-08T00:43:04Z)
Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。最先端アルゴリズムの利点を論じ、解説する。
論文参考訳（メタデータ） (2020-09-28T15:22:24Z)
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization [44.24881971917951]
自然政策勾配法(NPG)は、最も広く使われている政策最適化アルゴリズムの一つである。我々は,ソフトマックスパラメータ化の下で,エントロピー規則化NPG法に対する収束保証を開発する。この結果から, エントロピー正則化の役割を浮き彫りにした。
論文参考訳（メタデータ） (2020-07-13T17:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。