Fugu-MT 論文翻訳(概要): Utilization of domain knowledge to improve POMDP belief estimation

論文の概要: Utilization of domain knowledge to improve POMDP belief estimation

arxiv url: http://arxiv.org/abs/2302.08748v1
Date: Fri, 17 Feb 2023 08:16:52 GMT
ステータス: 処理完了
システム内更新日: 2023-02-20 15:30:37.343832
Title: Utilization of domain knowledge to improve POMDP belief estimation
Title（参考訳）: POMDPの信念推定を改善するためのドメイン知識の利用
Authors: Tung Nguyen and Johane Takeuchi
Abstract要約: 本稿では,ジェフリーの規則と正規化を用いたPOMDPフレームワークにおいて,ドメイン知識を確率的信念更新に統合する新しい手法を提案する。 RLを用いたPOMDP政策学習において,データ要求の低減と性能向上にドメイン知識を活用できることが示唆された。
参考スコア（独自算出の注目度）: 3.4885807613813267
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The partially observable Markov decision process (POMDP) framework is a common approach for decision making under uncertainty. Recently, multiple studies have shown that by integrating relevant domain knowledge into POMDP belief estimation, we can improve the learned policy's performance. In this study, we propose a novel method for integrating the domain knowledge into probabilistic belief update in POMDP framework using Jeffrey's rule and normalization. We show that the domain knowledge can be utilized to reduce the data requirement and improve performance for POMDP policy learning with RL.
Abstract（参考訳）: 部分的に観測可能なマルコフ決定プロセス(POMDP)フレームワークは、不確実性の下での意思決定において一般的なアプローチである。近年,関連する知識をPOMDPの信念推定に組み込むことで,学習方針の性能を向上させることが示唆されている。本研究では,jeffreyの法則と正規化を用いたpomdpフレームワークの確率的信念更新にドメイン知識を統合する新しい手法を提案する。 rlを用いたpomdpポリシー学習では,データ要求の削減とパフォーマンス向上にドメイン知識を活用できることを示す。

関連論文リスト

RL in Latent MDPs is Tractable: Online Guarantees via Off-Policy Evaluation [73.2390735383842]
付加的な構造仮定を伴わずにLMDPのサンプル効率アルゴリズムを初めて導入する。楽観的な探索アルゴリズムのほぼ最適保証を導出するためにどのように使用できるかを示す。これらの結果は、LMDP以外の幅広い対話型学習問題、特に部分的に観察された環境において有用である。
論文参考訳（メタデータ） (2024-06-03T14:51:27Z)
Counterfactual Explanation Policies in RL [3.674863913115432]
COUNTERPOLは、反実的説明を用いて強化学習ポリシーを分析する最初のフレームワークである。 RLにおけるCounterpolと広く利用されている信頼領域ベースのポリシー最適化手法の理論的関係を確立する。
論文参考訳（メタデータ） (2023-07-25T01:14:56Z)
Safe Policy Improvement for POMDPs via Finite-State Controllers [6.022036788651133]
部分的に観測可能なマルコフ決定プロセス(POMDP)のための安全政策改善(SPI)について検討する。 SPIメソッドは、モデルや環境自体へのアクセスを必要とせず、オフラインで動作ポリシーを確実に改善することを目指している。我々は,この新方針が(未知の)POMDPの新しいFSCに変換され,行動方針を高い確率で上回ることを示す。
論文参考訳（メタデータ） (2023-01-12T11:22:54Z)
Optimality Guarantees for Particle Belief Approximation of POMDPs [55.83001584645448]
部分的に観測可能なマルコフ決定プロセス(POMDP)は、現実の意思決定と制御の問題に対する柔軟な表現を提供する。 POMDPは、特に状態と観測空間が連続的またはハイブリッドである場合、解決するのが非常に難しい。本稿では,これらのアルゴリズムが使用する粒子フィルタリング手法の近似誤差を特徴付ける理論を提案する。
論文参考訳（メタデータ） (2022-10-10T21:11:55Z)
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes [65.91730154730905]
医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
論文参考訳（メタデータ） (2021-10-28T17:46:14Z)
Safe Exploration by Solving Early Terminated MDP [77.10563395197045]
我々は、Early TerminatedP(ET-MDP)の枠組みの下で、安全なRL問題に対処する新しいアプローチを導入する。まず、ET-MDPを対応するCMDPと同じ最適値関数を持つ非制約アルゴリズムとして定義する。そこで,文脈モデルに基づく非政治アルゴリズムを提案し,ET-MDPを解き,それに対応するCMDPをより良い性能で解き,学習効率を向上する。
論文参考訳（メタデータ） (2021-07-09T04:24:40Z)
A Deep Reinforcement Learning Approach to Marginalized Importance Sampling with the Successor Representation [61.740187363451746]
マージナライズド・プライバシ・サンプリング(MIS)は、ターゲットポリシーのステートアクション占有率とサンプリング分布の密度比を測定する。我々は,MISと深層強化学習のギャップを,目標方針の後継表現から密度比を計算することによって埋める。我々は,Atari環境とMuJoCo環境に対するアプローチの実証的性能を評価した。
論文参考訳（メタデータ） (2021-06-12T20:21:38Z)
Transferring Domain Knowledge with an Adviser in Continuous Tasks [0.0]
強化学習技術は、学習プロセスにドメイン固有の知識を明示的に組み込むことができない。我々は、Deep Deterministic Policy Gradient (DDPG)アルゴリズムを適用し、アドバイザーを組み込む。 OpenAi Gymベンチマークタスクの私たちの実験は、アドバイザーによるドメイン知識の統合が学習を迅速化し、より良い最適化に向けたポリシーを改善することを示しています。
論文参考訳（メタデータ） (2021-02-16T09:03:33Z)
Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
論文参考訳（メタデータ） (2020-12-30T03:22:35Z)
A Study of Policy Gradient on a Class of Exactly Solvable Models [35.90565839381652]
我々は、厳密な解決可能なPOMDPの特別なクラスに対して、ポリシーパラメータの進化を連続状態マルコフ連鎖として検討する。我々のアプローチはランダムウォーク理論、特にアフィンワイル群に大きく依存している。我々は,政策勾配の確率収束を,値関数の局所的最大値に対して解析する。
論文参考訳（メタデータ） (2020-11-03T17:27:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。