Fugu-MT 論文翻訳(概要): Learning from Demonstrations using Signal Temporal Logic

論文の概要: Learning from Demonstrations using Signal Temporal Logic

arxiv url: http://arxiv.org/abs/2102.07730v1
Date: Mon, 15 Feb 2021 18:28:36 GMT
ステータス: 処理完了
システム内更新日: 2021-02-16 15:59:17.316398
Title: Learning from Demonstrations using Signal Temporal Logic
Title（参考訳）: 信号時間論理を用いたデモンストレーションからの学習
Authors: Aniruddh G. Puranic, Jyotirmoy V. Deshmukh and Stefanos Nikolaidis
Abstract要約: 効果的なロボット制御ポリシーを得るための新しいパラダイムである。我々はSignal Temporal Logicを使ってデモの質を評価しランク付けする。提案手法は,最先端の最大因果エントロピー逆強化学習よりも優れていることを示す。
参考スコア（独自算出の注目度）: 1.2182193687133713
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Learning-from-demonstrations is an emerging paradigm to obtain effective robot control policies for complex tasks via reinforcement learning without the need to explicitly design reward functions. However, it is susceptible to imperfections in demonstrations and also raises concerns of safety and interpretability in the learned control policies. To address these issues, we use Signal Temporal Logic to evaluate and rank the quality of demonstrations. Temporal logic-based specifications allow us to create non-Markovian rewards, and also define interesting causal dependencies between tasks such as sequential task specifications. We validate our approach through experiments on discrete-world and OpenAI Gym environments, and show that our approach outperforms the state-of-the-art Maximum Causal Entropy Inverse Reinforcement Learning.
Abstract（参考訳）: 報酬関数を明示的に設計することなく強化学習によって複雑なタスクのための効果的なロボット制御ポリシーを得るための新しいパラダイムである。しかし、実証における欠陥の影響を受けやすく、学習された制御方針における安全性と解釈可能性の懸念も高まる。これらの問題に対処するために,我々は信号時相論理を用いて実演の質を評価しランク付けする。時相論理ベースの仕様により、非マルコフ的報酬を作成でき、シーケンシャルタスク仕様のようなタスク間の興味深い因果依存関係も定義できます。離散世界およびOpenAIジム環境に関する実験を通じて、私たちのアプローチが最先端の最大因果的エントロピー逆強化学習よりも優れていることを示しています。

関連論文リスト

Inverse-RLignment: Inverse Reinforcement Learning from Demonstrations for LLM Alignment [62.05713042908654]
本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-05-24T15:13:53Z)
Signal Temporal Logic-Guided Apprenticeship Learning [6.8500997328311]
本稿では,高レベルタスクの目的を記述した時間論理仕様をグラフにエンコードして,時間的基準を定義する方法を示す。制御ポリシの学習に必要な実演回数を大幅に改善することで,従来の文献の欠点を克服する方法について述べる。
論文参考訳（メタデータ） (2023-11-09T00:59:28Z)
Scaling In-Context Demonstrations with Structured Attention [75.41845145597875]
我々は、文脈内学習のためのより優れたアーキテクチャ設計を提案する。 In-Context Learningのための構造化アテンションは、構造化アテンションメカニズムによって完全なアテンションを置き換える。 SAICLは、最大3.4倍の推論速度で、フルアテンションよりも同等または優れた性能を実現していることを示す。
論文参考訳（メタデータ） (2023-07-05T23:26:01Z)
Exploiting Symmetry and Heuristic Demonstrations in Off-policy Reinforcement Learning for Robotic Manipulation [1.7901837062462316]
本稿では,物理ロボット環境に存在する自然対称性を定義し,組み込むことを目的とする。提案手法は,産業用アームの2つのポイント・ツー・ポイント・リーチタスクによって,障害物を伴わずに検証される。提案手法と従来の非政治強化学習アルゴリズムとの比較研究は,アプリケーションにおける学習性能と潜在的価値の優位性を示している。
論文参考訳（メタデータ） (2023-04-12T11:38:01Z)
Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning [0.0]
本稿では,STL(Signal Temporal Logic)仕様を適用した制御器を学習するために,抽出可能な強化学習アルゴリズムを提案する。異なる環境を用いた複数のSTLタスクに対して,本手法の有効性を実証する。
論文参考訳（メタデータ） (2022-11-30T19:38:21Z)
Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control [44.77500987121531]
階層的模倣学習 (Hierarchical Imitation Learning, HIL) は, 長期作業における複雑度の高い動作を, 専門家による実証から再現するために提案されている。逆逆強化学習に基づく新しいHILアルゴリズムを開発した。また,目的をエンド・ツー・エンドで学習するための変分オートエンコーダフレームワークを提案する。
論文参考訳（メタデータ） (2022-10-05T00:28:26Z)
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-04-07T17:16:52Z)
Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
論文参考訳（メタデータ） (2021-07-16T00:15:18Z)
Residual Reinforcement Learning from Demonstrations [51.56457466788513]
報酬信号の最大化のために,従来のフィードバックコントローラからの制御動作を適用することで,ロボット作業の課題を解決する手段として,残留強化学習(Residual reinforcement learning, RL)が提案されている。視覚的インプットから学習するための残差定式化を拡張し,実演を用いて報酬をスパースする。 6-DoFのUR5アームと28-DoFのデキスタラスハンドのシミュレーション操作に関する実験的評価は、デモからの残留RLが、行動クローニングやRL微調整よりも柔軟に、見えない環境条件に一般化できることを実証している。
論文参考訳（メタデータ） (2021-06-15T11:16:49Z)
Reinforcement Learning with Supervision from Noisy Demonstrations [38.00968774243178]
本研究では,環境と協調して対話し,専門家による実演を生かして政策を適応的に学習する新しい枠組みを提案する。複数の人気強化学習アルゴリズムを用いた各種環境における実験結果から,提案手法はノイズの多い実演で頑健に学習可能であることが示された。
論文参考訳（メタデータ） (2020-06-14T06:03:06Z)
Foreseeing the Benefits of Incidental Supervision [83.08441990812636]
本稿では,実験を行なわずに,特定の目標タスクに対して,様々な種類の偶発信号の利点を定量化できるかどうかを考察する。本稿では,PABI(PAC-Bayesian motivated informativeness measure)を提案する。
論文参考訳（メタデータ） (2020-06-09T20:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。