論文の概要: Robust Markov Decision Processes: A Place Where AI and Formal Methods Meet

• arxiv url: http://arxiv.org/abs/2411.11451v1
• Date: Mon, 18 Nov 2024 10:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:28:08.997993
• Title: Robust Markov Decision Processes: A Place Where AI and Formal Methods Meet
• Title（参考訳）: ロバストマルコフ決定プロセス:AIと形式的手法が遭遇する場所
• Authors: Marnix Suilen, Thom Badings, Eline M. Bovy, David Parker, Nils Jansen,
• Abstract要約: マルコフ決定プロセス(MDP)は、シーケンシャルな意思決定問題の標準モデルである。 形式的手法や人工知能(AI)など、多くの科学分野で広く使われている。
• 参考スコア（独自算出の注目度）: 12.056104044376372
• License:
• Abstract: Markov decision processes (MDPs) are a standard model for sequential decision-making problems and are widely used across many scientific areas, including formal methods and artificial intelligence (AI). MDPs do, however, come with the restrictive assumption that the transition probabilities need to be precisely known. Robust MDPs (RMDPs) overcome this assumption by instead defining the transition probabilities to belong to some uncertainty set. We present a gentle survey on RMDPs, providing a tutorial covering their fundamentals. In particular, we discuss RMDP semantics and how to solve them by extending standard MDP methods such as value iteration and policy iteration. We also discuss how RMDPs relate to other models and how they are used in several contexts, including reinforcement learning and abstraction techniques. We conclude with some challenges for future work on RMDPs.
• Abstract（参考訳）: マルコフ決定プロセス(MDP)はシーケンシャルな意思決定問題の標準モデルであり、形式的手法や人工知能(AI)を含む多くの科学分野で広く利用されている。 しかし、MDPは遷移確率を正確に知る必要があるという制限的な仮定をもっている。 ロバストMDP(RMDP)はこの仮定を克服し、ある不確実集合に属する遷移確率を定義する。 本稿では、RMDPに関する穏やかな調査を行い、その基礎を解説するチュートリアルを提供する。 特に、RMDPのセマンティクスと、値の反復やポリシーの反復といった標準的なMDP手法を拡張して、その解決方法について論じる。 また、RMDPが他のモデルとどのように関係し、強化学習や抽象化技術を含む様々な文脈でどのように使用されるかについても論じる。 RMDPの今後の課題について述べる。

関連論文リスト

• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• What Are the Odds? Improving the foundations of Statistical Model Checking [3.789219860006095]
  マルコフ決定プロセス(MDP)は不確実性の下での意思決定の基本的なモデルである。 従来の検証アルゴリズムは、MDPの振る舞いを管理する確率の正確な知識を前提としている。 我々はMDPの知識を活用する専門的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-08T11:47:46Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Robust Anytime Learning of Markov Decision Processes [8.799182983019557]
  データ駆動型アプリケーションでは、限られたデータから正確な確率を導き出すと統計的エラーが発生する。 不確実なMDP(uMDP)は正確な確率を必要としないが、遷移においていわゆる不確実性集合を用いる。 本稿では,ベイズ的推論スキームとロバストポリシーの計算を組み合わせた,頑健な任意の時間学習手法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T14:29:55Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Semi-Markov Offline Reinforcement Learning for Healthcare [57.15307499843254]
  本稿では,SDQN,SDDQN,SBCQという3つのオフラインRLアルゴリズムを紹介する。 変動時間環境において,これらのアルゴリズムのみが最適ポリシーを学習できることを実験的に実証した。 我々は,脳卒中予防のためのウォーファリン投与に関連する実世界のオフラインデータセットに,我々の新しいアルゴリズムを適用した。
  論文  参考訳（メタデータ） (2022-03-17T14:51:21Z)
• Robust Entropy-regularized Markov Decision Processes [23.719568076996662]
  本稿では,ER-MDPモデルのロバストバージョンについて検討する。 我々は, ER-MDPと頑健な非正規化MDPモデルに係わる重要な特性も設定に保たれることを示す。 私たちは、我々のフレームワークと結果を、価値や(修正された)ポリシーを含む異なるアルゴリズムのスキームに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-12-31T09:50:46Z)
• On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference [5.517104116168873]
  本稿では,確率的推論として,SSP MDP(General Decision Shortest-Path Markov Process)を提案する。 我々は不確実性の下での計画のオンラインとオフラインの手法について議論する。
  論文  参考訳（メタデータ） (2021-09-13T11:07:52Z)
• Safe Exploration by Solving Early Terminated MDP [77.10563395197045]
  我々は、Early TerminatedP(ET-MDP)の枠組みの下で、安全なRL問題に対処する新しいアプローチを導入する。 まず、ET-MDPを対応するCMDPと同じ最適値関数を持つ非制約アルゴリズムとして定義する。 そこで,文脈モデルに基づく非政治アルゴリズムを提案し,ET-MDPを解き,それに対応するCMDPをより良い性能で解き,学習効率を向上する。
  論文  参考訳（メタデータ） (2021-07-09T04:24:40Z)
• Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach [78.05638156687343]
  本稿では,POMCPポリシーをトレースを検査して分析する手法を提案する。 提案手法は, 政策行動の局所的特性を探索し, 予期せぬ決定を識別する。 我々は,POMDPの標準ベンチマークであるTigerに対するアプローチと,移動ロボットナビゲーションに関する現実の問題を評価した。
  論文  参考訳（メタデータ） (2020-12-23T15:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。