Fugu-MT 論文翻訳(概要): Efficient Planning in Large MDPs with Weak Linear Function Approximation

論文の概要: Efficient Planning in Large MDPs with Weak Linear Function Approximation

arxiv url: http://arxiv.org/abs/2007.06184v1
Date: Mon, 13 Jul 2020 04:40:41 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 22:57:10.391498
Title: Efficient Planning in Large MDPs with Weak Linear Function Approximation
Title（参考訳）: 弱線形関数近似を用いた大規模mdpの効率的な計画法
Authors: Roshan Shariff and Csaba Szepesv\'ari
Abstract要約: 大規模意思決定プロセス(MDP)は、MDPの状態を独立して計画アルゴリズムを必要とする。線形値関数近似を用いたMDPの計画問題を考える。
参考スコア（独自算出の注目度）: 4.56877715768796
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large-scale Markov decision processes (MDPs) require planning algorithms with runtime independent of the number of states of the MDP. We consider the planning problem in MDPs using linear value function approximation with only weak requirements: low approximation error for the optimal value function, and a small set of "core" states whose features span those of other states. In particular, we make no assumptions about the representability of policies or value functions of non-optimal policies. Our algorithm produces almost-optimal actions for any state using a generative oracle (simulator) for the MDP, while its computation time scales polynomially with the number of features, core states, and actions and the effective horizon.
Abstract（参考訳）: 大規模マルコフ決定プロセス (MDPs) は、MPPの状態を独立に実行するための計画アルゴリズムを必要とする。最適値関数に対する近似誤差の低さや,特徴が他の状態にまたがる"コア"状態の小さなセットなど,弱要求のみを伴う線形値関数近似を用いて,mdpの計画問題を考える。特に、最適でない政策の政策や価値関数の表現可能性について仮定はしない。本アルゴリズムはmdpのための生成的オラクル(シミュレータ)を用いて任意の状態に対してほぼ最適なアクションを生成するが,その計算時間は特徴数,コア状態,アクション数,有効地平線数と多項式的にスケールする。

関連論文リスト

Sample and Oracle Efficient Reinforcement Learning for MDPs with Linearly-Realizable Value Functions [10.225358400539719]
本稿では,線形作用が特徴写像に一般化される決定法(MDP)の効率的な強化アルゴリズムを提案する。具体的には、この設定において、最適に近いポリシーを効率的に見つける新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-09-07T14:38:05Z)
Learning Logic Specifications for Policy Guidance in POMDPs: an Inductive Logic Programming Approach [57.788675205519986]
我々は任意の解法によって生成されるPOMDP実行から高品質なトレースを学習する。我々は、データと時間効率のIndu Logic Programming(ILP)を利用して、解釈可能な信念に基づくポリシー仕様を生成する。 ASP(Answer Set Programming)で表現された学習は、ニューラルネットワークよりも優れた性能を示し、より少ない計算時間で最適な手作りタスクに類似していることを示す。
論文参考訳（メタデータ） (2024-02-29T15:36:01Z)
Non-stationary Reinforcement Learning under General Function Approximation [60.430936031067006]
まず,非定常MDPに対する動的ベルマンエルダー次元(DBE)と呼ばれる新しい複雑性指標を提案する。提案する複雑性指標に基づいて,SW-OPEAと呼ばれる新しい信頼度セットに基づくモデルフリーアルゴリズムを提案する。 SW-OPEAは,変動予算がそれほど大きくない限り,有効に有効であることを示す。
論文参考訳（メタデータ） (2023-06-01T16:19:37Z)
Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
論文参考訳（メタデータ） (2022-12-12T18:58:59Z)
Efficient Global Planning in Large MDPs via Stochastic Primal-Dual Optimization [12.411844611718958]
提案手法は, 生成モデルに対する多数のクエリの後に, ほぼ最適ポリシーを出力することを示す。提案手法は計算効率が高く,低次元パラメータベクトルでコンパクトに表現される単一のソフトマックスポリシーを出力する点が大きな利点である。
論文参考訳（メタデータ） (2022-10-21T15:49:20Z)
Nearly Optimal Latent State Decoding in Block MDPs [74.51224067640717]
エピソードブロック MDP では、意思決定者は少数の潜在状態から生成される豊富な観測やコンテキストにアクセスすることができる。まず、固定動作ポリシーに基づいて生成されたデータに基づいて、潜時状態復号関数を推定することに興味がある。次に、報酬のないフレームワークにおいて、最適に近いポリシーを学習する問題について研究する。
論文参考訳（メタデータ） (2022-08-17T18:49:53Z)
A Fully Polynomial Time Approximation Scheme for Constrained MDPs and Stochastic Shortest Path under Local Transitions [2.512827436728378]
我々は,(C)C-MDPの構造,特に局所遷移を伴う重要な変種について検討した。本研究では,(C)C-MDPの最適決定性ポリシを(ほぼ)計算する完全時間近似手法を提案する。
論文参考訳（メタデータ） (2022-04-10T22:08:33Z)
Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
論文参考訳（メタデータ） (2021-02-27T19:28:39Z)
On Query-efficient Planning in MDPs under Linear Realizability of the Optimal State-value Function [14.205660708980988]
固定水平マルコフ決定過程(MDP)における局所的計画の問題点を生成モデルを用いて考察する。最近の下界は、最適ポリシーの作用値関数が線形に実現可能である場合の関連する問題は指数的なクエリ数を必要とすることを証明している。本研究では,アクションセットが小さい場合,ポリ$(H, d)$学習が(状態値関数の実現可能性を持つ)可能であることを確かめる。
論文参考訳（メタデータ） (2021-02-03T13:23:15Z)
Minimax Regret Optimisation for Robust Planning in Uncertain Markov Decision Processes [3.5289688061934963]
Minimaxの後悔は、堅牢なポリシーを見つけるためにUncertain MDPの計画の目的として提案されています。政策の後悔を計算するためにベルマン方程式を導入する。独立した不確実性を有するUMDPに対して,minimaxの後悔を正確に最適化できることが示される。
論文参考訳（メタデータ） (2020-12-08T18:48:14Z)
Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。最先端アルゴリズムの利点を論じ、解説する。
論文参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。