論文の概要: Formal Controller Synthesis for Continuous-Space MDPs via Model-Free Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2003.00712v1
• Date: Mon, 2 Mar 2020 08:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-27 06:07:08.724138
• Title: Formal Controller Synthesis for Continuous-Space MDPs via Model-Free Reinforcement Learning
• Title（参考訳）: モデルレス強化学習による連続空間MDPの形式的制御器合成
• Authors: Abolfazl Lavaei, Fabio Somenzi, Sadegh Soudjani, Ashutosh Trivedi, and Majid Zamani
• Abstract要約: 連続空間マルコフ決定プロセス(MDP)のポリシーを合成する新しい強化学習手法を提案する。 この論文の重要な貢献は、有限のMDP上での強化学習に古典的な収束結果を活用することである。 本稿では,学習を高速化するために,新たな報酬形成手法を提案する。
• 参考スコア（独自算出の注目度）: 1.0928470926399565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A novel reinforcement learning scheme to synthesize policies for continuous-space Markov decision processes (MDPs) is proposed. This scheme enables one to apply model-free, off-the-shelf reinforcement learning algorithms for finite MDPs to compute optimal strategies for the corresponding continuous-space MDPs without explicitly constructing the finite-state abstraction. The proposed approach is based on abstracting the system with a finite MDP (without constructing it explicitly) with unknown transition probabilities, synthesizing strategies over the abstract MDP, and then mapping the results back over the concrete continuous-space MDP with approximate optimality guarantees. The properties of interest for the system belong to a fragment of linear temporal logic, known as syntactically co-safe linear temporal logic (scLTL), and the synthesis requirement is to maximize the probability of satisfaction within a given bounded time horizon. A key contribution of the paper is to leverage the classical convergence results for reinforcement learning on finite MDPs and provide control strategies maximizing the probability of satisfaction over unknown, continuous-space MDPs while providing probabilistic closeness guarantees. Automata-based reward functions are often sparse; we present a novel potential-based reward shaping technique to produce dense rewards to speed up learning. The effectiveness of the proposed approach is demonstrated by applying it to three physical benchmarks concerning the regulation of a room's temperature, control of a road traffic cell, and of a 7-dimensional nonlinear model of a BMW 320i car.
• Abstract（参考訳）: 連続空間マルコフ決定プロセス(MDP)のポリシーを合成する新しい強化学習手法を提案する。 このスキームにより、有限状態抽象を明示的に構築することなく、有限空間 MDP に対してモデルフリーで既成の強化学習アルゴリズムを適用し、対応する連続空間 MDP の最適戦略を計算することができる。 提案手法は, 有限の MDP を未知の遷移確率で抽象化し, 抽象的 MDP 上での戦略を合成し, 最適性を近似した具体的な連続空間 MDP 上で結果のマッピングを行う。 システムに対する関心の性質は、構文的に共安全な線形時間論理(scLTL)として知られる線形時間論理の断片に属し、合成要求は与えられた有界時間地平線内での満足の確率を最大化することである。 本稿の重要な貢献は,有限個のMDP上での強化学習に古典的な収束結果を活用することであり,確率的近接性保証を提供しながら,未知の連続空間MDPに対する満足度を最大化するための制御戦略を提供する。 オートマタベースの報酬関数は、しばしばスパースであり、学習をスピードアップするための密集した報酬を生成するために、新しいポテンシャルベースの報酬シェーピング技術を提案する。 提案手法の有効性は,BMW 320i車の室内温度の調節,道路交通セルの制御,および7次元非線形モデルの3つの物理ベンチマークに適用することによって実証された。

関連論文リスト

• Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
  最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。 このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-03T10:52:21Z)
• Formal Controller Synthesis for Markov Jump Linear Systems with Uncertain Dynamics [64.72260320446158]
  マルコフジャンプ線形系に対する制御器の合成法を提案する。 本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。 本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
  論文  参考訳（メタデータ） (2022-12-01T17:36:30Z)
• Opportunistic Qualitative Planning in Stochastic Systems with Incomplete Preferences over Reachability Objectives [24.11353445650682]
  優先順位は、すべての制約が同時に満たされない場合に、どの目標/制約を満たすかを決定する上で重要な役割を果たします。 本稿では,SPIおよびSASI戦略を合成し,複数の逐次改善を実現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-04T19:53:08Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Sequential Information Design: Markov Persuasion Process and Its Efficient Reinforcement Learning [156.5667417159582]
  本稿では,逐次情報設計の新たなモデル,すなわちマルコフ説得過程(MPP)を提案する。 MPPのプランニングは、ミオピックレシーバーに同時に説得されるシグナルポリシーを見つけ、送信者の最適な長期累積ユーティリティを誘導する、というユニークな課題に直面している。 我々は,楽観主義と悲観主義の両原理の新たな組み合わせを特徴とする,実証可能な効率のよい非回帰学習アルゴリズム,Optimism-Pessimism Principle for Persuasion Process (OP4) を設計する。
  論文  参考訳（メタデータ） (2022-02-22T05:41:43Z)
• Model-Free Reinforcement Learning for Optimal Control of MarkovDecision Processes Under Signal Temporal Logic Specifications [7.842869080999489]
  有限水平マルコフ決定過程に対する最適ポリシーを求めるためのモデルフリー強化学習アルゴリズムを提案する。 本稿では,不確実性および性能目標下での複雑なミッションにおけるロボット動作計画の文脈におけるアプローチの有効性について述べる。
  論文  参考訳（メタデータ） (2021-09-27T22:44:55Z)
• Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection [7.685002911021767]
  非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。 これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。 i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
  論文  参考訳（メタデータ） (2021-05-20T01:57:52Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)
• Reinforcement Learning Based Temporal Logic Control with Maximum Probabilistic Satisfaction [5.337302350000984]
  本稿では,制御ポリシを合成するモデルレス強化学習アルゴリズムを提案する。 RLをベースとした制御合成の有効性をシミュレーションおよび実験により実証した。
  論文  参考訳（メタデータ） (2020-10-14T03:49:16Z)
• Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
  線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。 このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
  論文  参考訳（メタデータ） (2019-02-02T20:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。