論文の概要: An Offline Risk-aware Policy Selection Method for Bayesian Markov
Decision Processes
- arxiv url: http://arxiv.org/abs/2105.13431v2
- Date: Tue, 11 Apr 2023 13:01:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 19:42:36.434458
- Title: An Offline Risk-aware Policy Selection Method for Bayesian Markov
Decision Processes
- Title（参考訳）: ベイジアンマルコフ決定過程のオフラインリスク対応政策選択法
- Authors: Giorgio Angelotti, Nicolas Drougard, Caroline Ponzoni Carvalho Chanel
- Abstract要約: Exploitation vs. Caution (EvC) はベイズ形式主義のモデル不確実性をエレガントに取り入れたパラダイムである。
我々は,多種多様なMDPクラスを提供する異なる離散的かつシンプルな環境において,最先端のアプローチでEvCを検証する。
テストシナリオでは、EvCは堅牢なポリシーを選択することができ、実践者にとって有用なツールとして際立っている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In Offline Model Learning for Planning and in Offline Reinforcement Learning,
the limited data set hinders the estimate of the Value function of the relative
Markov Decision Process (MDP). Consequently, the performance of the obtained
policy in the real world is bounded and possibly risky, especially when the
deployment of a wrong policy can lead to catastrophic consequences. For this
reason, several pathways are being followed with the scope of reducing the
model error (or the distributional shift between the learned model and the true
one) and, more broadly, obtaining risk-aware solutions with respect to model
uncertainty. But when it comes to the final application which baseline should a
practitioner choose? In an offline context where computational time is not an
issue and robustness is the priority we propose Exploitation vs Caution (EvC),
a paradigm that (1) elegantly incorporates model uncertainty abiding by the
Bayesian formalism, and (2) selects the policy that maximizes a risk-aware
objective over the Bayesian posterior between a fixed set of candidate policies
provided, for instance, by the current baselines. We validate EvC with
state-of-the-art approaches in different discrete, yet simple, environments
offering a fair variety of MDP classes. In the tested scenarios EvC manages to
select robust policies and hence stands out as a useful tool for practitioners
that aim to apply offline planning and reinforcement learning solvers in the
real world.
- Abstract（参考訳）: 計画およびオフライン強化学習のためのオフラインモデル学習において、限られたデータセットは相対マルコフ決定過程(mdp)の価値関数の推定を阻害する。
その結果、実世界で得られた政策のパフォーマンスは、特に間違った政策の展開が破滅的な結果をもたらす場合、制限され、潜在的に危険である。
この理由から、いくつかの経路が、モデルエラー(あるいは学習したモデルと真のモデルの分布的変化)を減らし、より広い範囲において、モデルの不確実性に関してリスク対応ソリューションを得るというスコープに従っている。
しかし、最終的なアプリケーションに関して、実践者はどのベースラインを選ぶべきか?
計算時間が問題ではなく、ロバスト性が優先事項であるオフラインの文脈では、(1)ベイズ形式に基づくモデルの不確実性をエレガントに取り入れる、(2)現在のベースラインによって提供される候補ポリシーの固定セット間でベイズ的後方に対するリスク認識目標を最大化するポリシーを選択する、というパラダイムを提案する。
我々は,多種多様なMDPクラスを提供する異なる離散的かつシンプルな環境において,最先端のアプローチでEvCを検証する。
テストシナリオでは、EvCは堅牢なポリシーを選択することに成功し、現実の世界でオフラインの計画と強化学習ソリューションの適用を目指す実践者にとって、有用なツールとして際立っている。
関連論文リスト
- Constrained Reinforcement Learning with Average Reward Objective: Model-Based and Model-Free Algorithms [34.593772931446125]
モノグラフは、平均報酬決定過程(MDPs)の文脈内で制約された様々なモデルベースおよびモデルフリーアプローチの探索に焦点を当てている
このアルゴリズムは制約付きMDPの解法として検討されている。
論文 参考訳（メタデータ） (2024-06-17T12:46:02Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - Bi-Level Offline Policy Optimization with Limited Exploration [1.8130068086063336]
我々は、固定された事前コンパイルされたデータセットに基づいて良いポリシーを学習しようとするオフライン強化学習(RL)について研究する。
ポリシー(上層)と値関数(下層)の階層的相互作用をモデル化する2レベル構造化ポリシー最適化アルゴリズムを提案する。
我々は、オフラインRLのための合成、ベンチマーク、実世界のデータセットを混合して評価し、最先端の手法と競合することを示す。
論文 参考訳（メタデータ） (2023-10-10T02:45:50Z) - Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。
このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
論文 参考訳（メタデータ） (2023-10-03T10:52:21Z) - Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳（メタデータ） (2023-08-28T20:46:07Z) - When Demonstrations Meet Generative World Models: A Maximum Likelihood
Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。
タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
論文 参考訳（メタデータ） (2023-02-15T04:14:20Z) - Model-based Safe Deep Reinforcement Learning via a Constrained Proximal
Policy Optimization Algorithm [4.128216503196621]
オンライン方式で環境の遷移動態を学習する,オンライン型モデルに基づくセーフディープRLアルゴリズムを提案する。
我々は,本アルゴリズムがより標本効率が高く,制約付きモデルフリーアプローチと比較して累積的ハザード違反が低いことを示す。
論文 参考訳（メタデータ） (2022-10-14T06:53:02Z) - Offline Reinforcement Learning with Instrumental Variables in Confounded
Markov Decision Processes [93.61202366677526]
未測定の共同設立者を対象にオフライン強化学習(RL)について検討した。
そこで本稿では, 最適クラスポリシーを見つけるための, 有限サンプルの準最適性を保証した多種多様なポリシー学習手法を提案する。
論文 参考訳（メタデータ） (2022-09-18T22:03:55Z) - COptiDICE: Offline Constrained Reinforcement Learning via Stationary
Distribution Correction Estimation [73.17078343706909]
オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。
定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。
我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
論文 参考訳（メタデータ） (2022-04-19T15:55:47Z) - Robust Batch Policy Learning in Markov Decision Processes [0.0]
マルコフ決定プロセス(MDP)の枠組みにおけるオフラインデータ駆動シーケンシャル意思決定問題について検討する。
本稿では,政策誘導定常分布を中心とした分布について,平均報酬のセットを用いて各政策を評価することを提案する。
論文 参考訳（メタデータ） (2020-11-09T04:41:21Z) - Cautious Reinforcement Learning via Distributional Risk in the Dual
Domain [45.17200683056563]
マルコフ決定過程(MDP)によって定義される強化学習問題において,状態と行動空間が可算有限である場合のリスク感受性ポリシーの推定について検討する。
本稿では,強化学習の線形プログラミング(LP)の2つの目的に付加されるペナルティ関数として,新たなリスク定義を提案する。
論文 参考訳（メタデータ） (2020-02-27T23:18:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。