論文の概要: Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control

• arxiv url: http://arxiv.org/abs/2210.01969v4
• Date: Tue, 23 May 2023 13:35:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 11:09:49.129343
• Title: Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control
• Title（参考訳）: ロボット制御のためのオプション対応逆強化学習
• Authors: Jiayu Chen, Tian Lan, Vaneet Aggarwal
• Abstract要約: 階層的模倣学習 (Hierarchical Imitation Learning, HIL) は, 長期作業における複雑度の高い動作を, 専門家による実証から再現するために提案されている。 逆逆強化学習に基づく新しいHILアルゴリズムを開発した。 また,目的をエンド・ツー・エンドで学習するための変分オートエンコーダフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 44.77500987121531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical Imitation Learning (HIL) has been proposed to recover highly-complex behaviors in long-horizon tasks from expert demonstrations by modeling the task hierarchy with the option framework. Existing methods either overlook the causal relationship between the subtask and its corresponding policy or cannot learn the policy in an end-to-end fashion, which leads to suboptimality. In this work, we develop a novel HIL algorithm based on Adversarial Inverse Reinforcement Learning and adapt it with the Expectation-Maximization algorithm in order to directly recover a hierarchical policy from the unannotated demonstrations. Further, we introduce a directed information term to the objective function to enhance the causality and propose a Variational Autoencoder framework for learning with our objectives in an end-to-end fashion. Theoretical justifications and evaluations on challenging robotic control tasks are provided to show the superiority of our algorithm. The codes are available at https://github.com/LucasCJYSDL/HierAIRL.
• Abstract（参考訳）: 階層的模倣学習(Hierarchical Imitation Learning, HIL)は、タスク階層をオプションフレームワークでモデル化することにより、専門家による実証から長期タスクの複雑な振る舞いを復元するために提案されている。 既存の方法は、サブタスクとそれに対応するポリシーの間の因果関係を見落としているか、あるいはエンドツーエンドでポリシーを学ぶことができないため、亜最適性につながる。 本研究では, 適応逆強化学習に基づく新しいHILアルゴリズムを開発し, 予測最大化アルゴリズムで適応することで, 注釈のない実演から階層的ポリシーを直接復元する。 さらに,目的関数に有向情報項を導入して因果性を高めるとともに,目的をエンドツーエンドで学習するための変分オートエンコーダフレームワークを提案する。 本アルゴリズムの優位性を示すため,ロボット制御の課題に対する理論的正当化と評価を行った。 コードはhttps://github.com/lucascjysdl/hierairlで入手できる。

関連論文リスト

• MENTOR: Guiding Hierarchical Reinforcement Learning with Human Feedback and Dynamic Distance Constraint [40.3872201560003]
  階層的強化学習(HRL)は、タスクをサブゴールに分割し、それらを順次完了させる階層的枠組みを使用する。 現在の手法は、安定した学習プロセスを保証するための適切なサブゴールを見つけるのに苦労している。 本稿では,人間のフィードバックとダイナミック距離制約を取り入れた汎用階層型強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T03:11:09Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Chain-of-Thought Predictive Control [32.30974063877643]
  複雑な低レベル制御のための実証から一般化可能な政策学習について研究する。 準最適デモを利用した新しい階層型模倣学習法を提案する。
  論文  参考訳（メタデータ） (2023-04-03T07:59:13Z)
• Hierarchical Imitation Learning with Vector Quantized Models [77.67190661002691]
  我々は,専門家の軌跡におけるサブゴールの同定に強化学習を用いることを提案する。 同定されたサブゴールに対するベクトル量子化生成モデルを構築し,サブゴールレベルの計画を行う。 実験では、このアルゴリズムは複雑な長い水平決定問題の解法に優れ、最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2023-01-30T15:04:39Z)
• Attaining Interpretability in Reinforcement Learning via Hierarchical Primitive Composition [3.1078562713129765]
  本稿では,従来の課題を階層構造に分解して軽減する階層型強化学習アルゴリズムを提案する。 提案手法は,6自由度マニピュレータを用いてピック・アンド・プレイス・タスクを解くことで,実際にどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2021-10-05T05:59:31Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)
• Adversarial Option-Aware Hierarchical Imitation Learning [89.92994158193237]
  提案するOption-GAILは,遠隔地平線でスキルを学ぶための新しい手法である。 Option-GAILの鍵となる考え方は、タスク階層をオプションでモデル化し、生成的敵最適化を通じてポリシーを訓練することである。 実験によると、Option-GAILはさまざまなタスクにおいて、他のタスクよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2021-06-10T06:42:05Z)
• Outcome-Driven Reinforcement Learning via Variational Inference [95.82770132618862]
  我々は、報酬を最大化する問題ではなく、望ましい結果を達成するための行動を推測する問題として、強化学習に関する新たな視点について論じる。 結果として得られる結果指向推論の問題を解決するため, 定型的報酬関数を導出する新しい変分推論定式を制定する。 我々は,この手法が報酬機能の設計を不要とし,効果的なゴール指向行動へと導くことを実証的に示す。
  論文  参考訳（メタデータ） (2021-04-20T18:16:21Z)
• Learning Off-Policy with Online Planning [18.63424441772675]
  本研究では,学習モデルと端末値関数を用いたHステップルックアヘッドの新たなインスタンス化について検討する。 ナビゲーション環境の集合に配置する際の安全性制約を組み込むLOOPの柔軟性を示す。
  論文  参考訳（メタデータ） (2020-08-23T16:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。