論文の概要: Model-Free Reinforcement Learning for Symbolic Automata-encoded Objectives

• arxiv url: http://arxiv.org/abs/2202.02404v1
• Date: Fri, 4 Feb 2022 21:54:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 17:51:07.567548
• Title: Model-Free Reinforcement Learning for Symbolic Automata-encoded Objectives
• Title（参考訳）: シンボリックオートマトン符号化目標に対するモデルフリー強化学習
• Authors: Anand Balakrishnan, Stefan Jaksic, Edgar Aguilar Lozano, Dejan Nickovic, Jyotirmoy Deshmukh
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、不確実な環境でのロボット経路計画において一般的な手法である。 悪い設計の報酬は、最大報酬を得るが、望ましいタスクの目的を満たすことができず、安全でないポリシーにつながる可能性がある。 本稿では,記号オートマトンを用いた形式仕様を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) is a popular approach for robotic path planning in uncertain environments. However, the control policies trained for an RL agent crucially depend on user-defined, state-based reward functions. Poorly designed rewards can lead to policies that do get maximal rewards but fail to satisfy desired task objectives or are unsafe. There are several examples of the use of formal languages such as temporal logics and automata to specify high-level task specifications for robots (in lieu of Markovian rewards). Recent efforts have focused on inferring state-based rewards from formal specifications; here, the goal is to provide (probabilistic) guarantees that the policy learned using RL (with the inferred rewards) satisfies the high-level formal specification. A key drawback of several of these techniques is that the rewards that they infer are sparse: the agent receives positive rewards only upon completion of the task and no rewards otherwise. This naturally leads to poor convergence properties and high variance during RL. In this work, we propose using formal specifications in the form of symbolic automata: these serve as a generalization of both bounded-time temporal logic-based specifications as well as automata. Furthermore, our use of symbolic automata allows us to define non-sparse potential-based rewards which empirically shape the reward surface, leading to better convergence during RL. We also show that our potential-based rewarding strategy still allows us to obtain the policy that maximizes the satisfaction of the given specification.
• Abstract（参考訳）: 強化学習(rl)は、不確定な環境におけるロボットの経路計画のための一般的なアプローチである。 しかしながら、rlエージェントのためにトレーニングされた制御ポリシーは、ユーザー定義のステートベースの報酬関数に依存する。 設計の悪い報酬は、最大限の報酬を得たが、望ましいタスク目標を満たせなかったり、安全でないポリシーにつながる可能性がある。 時間論理やオートマトンのような形式言語を使ってロボットの高レベルなタスク仕様を指定する例がいくつかある(マルコフの報酬の代わりに)。 ここでは、RL(推定報酬)を用いて学んだポリシーが高水準の形式仕様を満たすことを(確率的に)保証することを目的としている。 これらの技法の重要な欠点は、それらが推論する報酬が疎いことである:エージェントはタスクの完了時にのみ肯定的な報酬を受け取り、それ以外の報酬は受け取らない。 このことは自然にRLの収束性や高分散をもたらす。 本研究では,記号的オートマトンという形式的仕様を用いて,時間的時間的論理に基づく仕様とオートマトンの両方を一般化する手法を提案する。 さらに、シンボルオートマトンを用いることで、報酬面を経験的に形作る非スパースポテンシャルベースの報酬を定義することができ、RLの収束性が向上する。 また、我々の潜在的報酬戦略が、与えられた仕様の満足度を最大化するポリシーを得ることを可能にすることも示しています。

関連論文リスト

• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)
• REBEL: A Regularization-Based Solution for Reward Overoptimization in Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数とユーザの意図、価値観、社会的規範の相違は、現実世界で破滅的なものになる可能性がある。 人間の嗜好から報酬関数を学習することで、このミスアライメント作業を軽減するための現在の方法。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Deep Reinforcement Learning from Hierarchical Preference Design [99.46415116087259]
  本稿では,特定の構造を利用することにより,報酬設計プロセスの容易性を示す。 シナリオのための階層的な報酬モデリングフレームワーク -- HERONを提案する。 (I) フィードバック信号は自然に階層構造を呈し、 (II) 報酬は希少であるが、政策学習を支援するためにあまり重要でないサロゲートフィードバックを持つ。
  論文  参考訳（メタデータ） (2023-09-06T00:44:29Z)
• Logic-based Reward Shaping for Multi-Agent Reinforcement Learning [1.5483078145498084]
  強化学習は、その環境から学び、観察された報酬を最大化するために探索に大きく依存する。 従来の作業では、タスクに基づいて報酬関数を合成する自動メカニズムを提供するために、オートマタとロジックベースの報酬整形と環境仮定を組み合わせた。 マルチエージェント強化学習における論理に基づく報酬形成は,様々なシナリオやタスクに対してどのように設計できるかを考察する。
  論文  参考訳（メタデータ） (2022-06-17T16:30:27Z)
• A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines [7.661766773170363]
  不特定報酬は、サンプル効率を低下させ、強化学習問題において望ましくない振る舞いを誘発することができる。 本稿では,報酬信号を指定する際に,高いレベルのタスク知識を取り入れたシンボル型報酬機を提案する。
  論文  参考訳（メタデータ） (2022-04-20T20:22:00Z)
• DisCo RL: Distribution-Conditioned Reinforcement Learning for General-Purpose Policies [116.12670064963625]
  分散条件強化学習(DisCo RL)と呼ばれるオフポリシーアルゴリズムを開発し、コンテキストポリシーを効率的に学習します。 DisCo RLをさまざまなロボット操作タスクで評価し、新しい目標分布への一般化を必要とするタスクの以前の方法を大幅に上回っていることを発見しました。
  論文  参考訳（メタデータ） (2021-04-23T16:51:58Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)
• Reward Machines: Exploiting Reward Function Structure in Reinforcement Learning [22.242379207077217]
  報酬関数のコードをRLエージェントに示すことで、関数の内部構造を利用して最適なポリシーを学習する方法を示す。 まず、報酬関数の仕様をサポートする有限状態機械の一種である報酬機械を提案する。 次に、この構造を利用して、自動報酬形成、タスク分解、非政治的学習による対実的推論など、学習を支援する方法について述べる。
  論文  参考訳（メタデータ） (2020-10-06T00:10:16Z)
• Active Finite Reward Automaton Inference and Reinforcement Learning Using Queries and Counterexamples [31.31937554018045]
  深部強化学習(RL)法は, 良好な性能を達成するために, 環境探索からの集中的なデータを必要とする。 本稿では,RLエージェントが探索過程を推論し,その将来的な探索を効果的に導くための高レベルの知識を蒸留するフレームワークを提案する。 具体的には、L*学習アルゴリズムを用いて、有限報酬オートマトンという形で高レベルの知識を学習する新しいRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:13:08Z)
• Learning Non-Markovian Reward Models in MDPs [0.0]
  メアリーマシンを用いて非マルコフ報酬関数を定式化する方法を示す。 正式な設定では、エージェントが進化する環境の力学をモデル化するマルコフ決定過程(MDP)を考える。 MDPはエージェントによって知られているが、報酬関数はエージェントから未知であり、学習されなければならない。
  論文  参考訳（メタデータ） (2020-01-25T10:51:42Z)
• Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
  線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。 このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
  論文  参考訳（メタデータ） (2019-02-02T20:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。