論文の概要: Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic

• arxiv url: http://arxiv.org/abs/2102.12855v1
• Date: Wed, 24 Feb 2021 01:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-26 13:57:05.250620
• Title: Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic
• Title（参考訳）: 時間論理を用いた連続運動計画のためのモジュラー深層強化学習
• Authors: Mingyu Cai, Mohammadhosein Hasanbeig, Shaoping Xiao, Alessandro Abate and Zhen Kan
• Abstract要約: 本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
• 参考スコア（独自算出の注目度）: 59.94347858883343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the motion planning of autonomous dynamical systems modeled by Markov decision processes (MDP) with unknown transition probabilities over continuous state and action spaces. Linear temporal logic (LTL) is used to specify high-level tasks over infinite horizon, which can be converted into a limit deterministic generalized B\"uchi automaton (LDGBA) with several accepting sets. The novelty is to design an embedded product MDP (EP-MDP) between the LDGBA and the MDP by incorporating a synchronous tracking-frontier function to record unvisited accepting sets of the automaton, and to facilitate the satisfaction of the accepting conditions. The proposed LDGBA-based reward shaping and discounting schemes for the model-free reinforcement learning (RL) only depend on the EP-MDP states and can overcome the issues of sparse rewards. Rigorous analysis shows that any RL method that optimizes the expected discounted return is guaranteed to find an optimal policy whose traces maximize the satisfaction probability. A modular deep deterministic policy gradient (DDPG) is then developed to generate such policies over continuous state and action spaces. The performance of our framework is evaluated via an array of OpenAI gym environments.
• Abstract（参考訳）: 本稿では,マルコフ決定過程(mdp)をモデルとした自律力学系の連続状態と動作空間上の遷移確率の未知な動き計画について検討する。 線形時間論理 (LTL) は無限の地平線上の高レベルなタスクを指定するのに使われ、いくつかの受け入れ集合を持つ極限決定論的一般化 B\"uchi automaton (LDGBA) に変換できる。 この新機能は、LDGBAとMDPの間の組み込み製品MDP(EP-MDP)を、オートマトンの未訪問受入セットを記録し、受入条件の満足を促進するために同期追跡フロンティア関数を組み込むことによって設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引方式は、EP-MDP状態に依存し、スパース報酬の問題を克服することができる。 厳密な分析により、期待値の値引きを最適化するrlメソッドは満足度確率を最大化する最適なポリシーを見つけることが保証される。 モジュラーディープ決定性ポリシー勾配(DDPG)は、連続状態やアクション空間上のポリシーを生成するために開発される。 フレームワークの性能は,OpenAIのジム環境を通じて評価される。

関連論文リスト

• Directed Exploration in Reinforcement Learning from Linear Temporal Logic [59.707408697394534]
  リニア時間論理(LTL)は強化学習におけるタスク仕様のための強力な言語である。 合成された報酬信号は基本的に疎結合であり,探索が困難であることを示す。 我々は、仕様をさらに活用し、それに対応するリミット決定性B"uchi Automaton(LDBA)をマルコフ報酬プロセスとしてキャストすることで、よりよい探索を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-08-18T14:25:44Z)
• Two-Stage ML-Guided Decision Rules for Sequential Decision Making under Uncertainty [55.06411438416805]
  SDMU (Sequential Decision Making Under Uncertainty) は、エネルギー、金融、サプライチェーンといった多くの領域において、ユビキタスである。 いくつかのSDMUは、自然にマルチステージ問題(MSP)としてモデル化されているが、結果として得られる最適化は、計算の観点からは明らかに困難である。 本稿では,2段階の一般決定規則(TS-GDR)を導入し,線形関数を超えて政策空間を一般化する手法を提案する。 TS-GDRの有効性は、TS-LDR(Two-Stage Deep Decision Rules)と呼ばれるディープリカレントニューラルネットワークを用いたインスタンス化によって実証される。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Learning non-Markovian Decision-Making from State-only Sequences [57.20193609153983]
  非マルコフ決定過程(nMDP)を用いた状態のみ列のモデルに基づく模倣を開発する。 非マルコフ制約をもつ経路計画課題において提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-06-27T02:26:01Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Model-Free Reinforcement Learning for Optimal Control of MarkovDecision Processes Under Signal Temporal Logic Specifications [7.842869080999489]
  有限水平マルコフ決定過程に対する最適ポリシーを求めるためのモデルフリー強化学習アルゴリズムを提案する。 本稿では,不確実性および性能目標下での複雑なミッションにおけるロボット動作計画の文脈におけるアプローチの有効性について述べる。
  論文  参考訳（メタデータ） (2021-09-27T22:44:55Z)
• Reinforcement Learning Based Temporal Logic Control with Soft Constraints Using Limit-deterministic Generalized Buchi Automata [0.0]
  不確実性を考慮した運動計画の制御合成について検討する。 ロボットの動作や環境特性に不確実性が考慮され、確率的マルコフ決定プロセス(MDP)が生まれます。
  論文  参考訳（メタデータ） (2021-01-25T18:09:11Z)
• Reinforcement Learning Based Temporal Logic Control with Maximum Probabilistic Satisfaction [5.337302350000984]
  本稿では,制御ポリシを合成するモデルレス強化学習アルゴリズムを提案する。 RLをベースとした制御合成の有効性をシミュレーションおよび実験により実証した。
  論文  参考訳（メタデータ） (2020-10-14T03:49:16Z)
• Formal Controller Synthesis for Continuous-Space MDPs via Model-Free Reinforcement Learning [1.0928470926399565]
  連続空間マルコフ決定プロセス(MDP)のポリシーを合成する新しい強化学習手法を提案する。 この論文の重要な貢献は、有限のMDP上での強化学習に古典的な収束結果を活用することである。 本稿では,学習を高速化するために,新たな報酬形成手法を提案する。
  論文  参考訳（メタデータ） (2020-03-02T08:29:36Z)
• Stochastic Finite State Control of POMDPs with LTL Specifications [14.163899014007647]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、不確実性の下での自律的な意思決定のためのモデリングフレームワークを提供する。 本稿では,POMDPに対する準最適有限状態制御器(sFSC)の合成に関する定量的問題について考察する。 本稿では,sFSC サイズが制御される有界ポリシアルゴリズムと,連続的な繰り返しにより制御器の性能が向上する任意の時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-21T18:10:47Z)
• Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
  線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。 このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
  論文  参考訳（メタデータ） (2019-02-02T20:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。