Fugu-MT 論文翻訳(概要): An Efficient Solution to s-Rectangular Robust Markov Decision Processes

論文の概要: An Efficient Solution to s-Rectangular Robust Markov Decision Processes

arxiv url: http://arxiv.org/abs/2301.13642v1
Date: Tue, 31 Jan 2023 13:54:23 GMT
ステータス: 処理完了
システム内更新日: 2023-02-01 16:30:52.577710
Title: An Efficient Solution to s-Rectangular Robust Markov Decision Processes
Title（参考訳）: s-矩形ロバストマルコフ決定過程の効率的な解法
Authors: Navdeep Kumar, Kfir Levy, Kaixin Wang, Shie Mannor
Abstract要約: テクスツ長方形ロバストマルコフ決定過程(MDP)に対する効率的なロバストな値反復法を提案する。我々は,L_p$の水充填補題を用いて,ベルマン作用素を具体的形式で導出した。最適な政策の正確な形を明らかにし、これは、その利点に比例する行動を起こす確率で、新しいしきい値ポリシーであることが判明した。
参考スコア（独自算出の注目度）: 49.05403412954533
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present an efficient robust value iteration for \texttt{s}-rectangular robust Markov Decision Processes (MDPs) with a time complexity comparable to standard (non-robust) MDPs which is significantly faster than any existing method. We do so by deriving the optimal robust Bellman operator in concrete forms using our $L_p$ water filling lemma. We unveil the exact form of the optimal policies, which turn out to be novel threshold policies with the probability of playing an action proportional to its advantage.
Abstract（参考訳）: 我々は,従来の手法よりもはるかに高速な標準(非ロバスト)のMDPに匹敵する時間複雑性を持つ,正方形ロバストなマルコフ決定過程(MDP)に対して,効率的なロバストな値反復を提案する。我々は,L_p$の水充填補題を用いて,ベルマン作用素を具体的形式で導出した。我々は最適な政策の正確な形を明らかにし、これはその利点に比例する行動を起こす確率で新しいしきい値政策であることが判明した。

関連論文リスト

Anytime-Constrained Reinforcement Learning [6.981971551979697]
制約付きマルコフ決定過程(cMDP)を任意の制約で導入・研究する。累積コストを付加した最適決定主義的政策が存在することを示す。非自明な概略的ポリシーの計算は一般にNPハードであることが示される。
論文参考訳（メタデータ） (2023-11-09T16:51:26Z)
Twice Regularized Markov Decision Processes: The Equivalence between Robustness and Regularization [64.60253456266872]
マルコフ決定プロセス(MDP)は、変化または部分的に知られているシステムのダイナミクスを扱うことを目的としている。規則化されたMDPは、時間的複雑さを損なうことなく、ポリシー学習の安定性を高める。ベルマン作用素は、収束と一般化を保証する計画と学習スキームを導出することができる。
論文参考訳（メタデータ） (2023-03-12T13:03:28Z)
Robust Markov Decision Processes without Model Estimation [32.16801929347098]
堅牢なMDPの適用には,2つの大きな障壁がある。第一に、ほとんどの研究はモデルベース体制における堅牢なMDPを研究している。第二に、先行研究は通常、最適な解を得るために強いオラクルを仮定する。
論文参考訳（メタデータ） (2023-02-02T17:29:10Z)
Policy Gradient for Rectangular Robust Markov Decision Processes [62.397882389472564]
我々は,長方形ロバストなマルコフ決定過程(MDP)を効率的に解く政策ベース手法であるロバストなポリシー勾配(RPG)を導入する。結果のRPGは、非ロバストな等価値と同じ時間のデータから推定することができる。
論文参考訳（メタデータ） (2023-01-31T12:40:50Z)
Robust Average-Reward Markov Decision Processes [25.125481838479256]
我々は,不確実なセットに対して最悪の平均報酬を最適化する政策を見出すことを目標とする,堅牢な平均リワードMDPに焦点を当てる。我々は, ディスカウント型MDPを用いて, 平均回帰MDPを近似するアプローチを採っている。我々は、ロバスト平均逆 MDP に対するロバストなベルマン方程式を導出し、最適ポリシーがその解から導出できることを証明し、さらに、その解を確実に見つけ出すロバストな相対値アルゴリズムを設計する。
論文参考訳（メタデータ） (2023-01-02T19:51:55Z)
Efficient Policy Iteration for Robust Markov Decision Processes via Regularization [49.05403412954533]
ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
論文参考訳（メタデータ） (2022-05-28T04:05:20Z)
Markov Decision Process modeled with Bandits for Sequential Decision Making in Linear-flow [73.1896399783641]
会員/加入者の獲得と保持では、複数のページを連続してマーケティングコンテンツを推奨する必要がある。遷移確率行列をモデル化するためにBandits を用いた MDP としてこの問題を定式化することを提案する。提案したMDPのBanditsアルゴリズムは,$epsilon$-greedyと$epsilon$-greedy,$epsilon$,IndependentBandits,InteractionBanditsでQ-learningを上回っている。
論文参考訳（メタデータ） (2021-07-01T03:54:36Z)
Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。最先端アルゴリズムの利点を論じ、解説する。
論文参考訳（メタデータ） (2020-09-28T15:22:24Z)
Partial Policy Iteration for L1-Robust Markov Decision Processes [13.555107578858307]
本稿では、ロバストなMDPの共通クラスを解くための新しい効率的なアルゴリズムについて述べる。我々は、ロバストなMDPのための部分ポリシーイテレーション、新しい、効率的で柔軟な、一般的なポリシーイテレーションスキームを提案する。実験結果から,提案手法は最先端手法よりも桁違いに高速であることが示唆された。
論文参考訳（メタデータ） (2020-06-16T19:50:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。