論文の概要: Intrinsic Reward Driven Imitation Learning via Generative Model

• arxiv url: http://arxiv.org/abs/2006.15061v4
• Date: Fri, 11 Sep 2020 09:40:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 20:36:13.002707
• Title: Intrinsic Reward Driven Imitation Learning via Generative Model
• Title（参考訳）: 生成モデルによる内在的報酬駆動模倣学習
• Authors: Xingrui Yu, Yueming Lyu and Ivor W. Tsang
• Abstract要約: ほとんどの逆強化学習(IRL)法は、高次元環境下では実証者よりも優れていない。 生成モデルを用いて固有報酬信号を生成するための新たな報奨学習モジュールを提案する。 実験結果から,本手法は,一生のデモンストレーションであっても,複数のアタリゲームにおいて最先端のIRL法よりも優れることが示された。
• 参考スコア（独自算出の注目度）: 48.97800481338626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Imitation learning in a high-dimensional environment is challenging. Most inverse reinforcement learning (IRL) methods fail to outperform the demonstrator in such a high-dimensional environment, e.g., Atari domain. To address this challenge, we propose a novel reward learning module to generate intrinsic reward signals via a generative model. Our generative method can perform better forward state transition and backward action encoding, which improves the module's dynamics modeling ability in the environment. Thus, our module provides the imitation agent both the intrinsic intention of the demonstrator and a better exploration ability, which is critical for the agent to outperform the demonstrator. Empirical results show that our method outperforms state-of-the-art IRL methods on multiple Atari games, even with one-life demonstration. Remarkably, our method achieves performance that is up to 5 times the performance of the demonstration.
• Abstract（参考訳）: 高次元環境における模倣学習は困難である。 ほとんどの逆強化学習(IRL)法は、例えばアタリドメインのような高次元環境においてデモンストレータを上回りません。 この課題に対処するために, 生成モデルを用いて本質的報酬信号を生成する新しい報酬学習モジュールを提案する。 我々の生成手法は、より優れた前方状態遷移と後方動作符号化を実現し、環境におけるモジュールの動的モデリング能力を向上させる。 したがって,本モジュールは,実証者の本質的な意図と,より優れた探索能力の両方を模倣剤として提供する。 実験結果から,本手法は1ライフデモにおいても複数のatariゲームにおいて最先端irl手法よりも優れていた。 驚くべきことに,本手法は実演の最大5倍の性能を達成している。

関連論文リスト

• STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning [82.03481509373037]
  近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。 本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。 Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
  論文  参考訳（メタデータ） (2023-10-14T16:42:02Z)
• Imitation Learning by Estimating Expertise of Demonstrators [92.20185160311036]
  実証的知識よりも教師なし学習が模倣学習アルゴリズムの性能を一貫した向上に繋がることを示す。 デモ参加者の学習した方針や専門知識に基づいて,共同モデルを開発・最適化する。 本研究は,ミニグリッドやチェスなど,ロブミミックや離散環境からの実ロボット的連続制御タスクについて述べる。
  論文  参考訳（メタデータ） (2022-02-02T21:23:19Z)
• Sample Efficient Imitation Learning via Reward Function Trained in Advance [2.66512000865131]
  イミテーションラーニング(IL)は、実証から専門家の行動を模倣することを学ぶフレームワークである。 本稿では,逆強化学習の新たな手法を導入することで,サンプル効率の向上に尽力する。
  論文  参考訳（メタデータ） (2021-11-23T08:06:09Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)
• Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments [137.86426963572214]
  逆強化学習(Inverse Reinforcement Learning)は、専門家によるデモンストレーションから報酬関数を外挿する。 提案手法であるDE-AIRLは、実演効率が高く、完全手続き領域に一般化する報酬関数を外挿できることを示す。
  論文  参考訳（メタデータ） (2020-12-04T11:18:02Z)
• Shaping Rewards for Reinforcement Learning with Imperfect Demonstrations using Generative Models [18.195406135434503]
  本稿では,報酬関数を状態と行動に依存したポテンシャルに形成することにより,強化と模倣学習を組み合わせた手法を提案する。 このことは,まず探索する価値のある状態空間と行動空間の高価値領域を指定することで,政策学習を加速させることを示す。 特に、これらのポテンシャルを表現するために、正規化フローとジェネレーティブ・アドバイサル・ネットワークの両方について検討する。
  論文  参考訳（メタデータ） (2020-11-02T20:32:05Z)
• REMAX: Relational Representation for Multi-Agent Exploration [13.363887960136102]
  ゲームの初期状態を生成する学習ベースの探索戦略を提案する。 本手法は,既存の探査手法よりも,MARLモデルの訓練と性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2020-08-12T10:23:35Z)
• State-Only Imitation Learning for Dexterous Manipulation [63.03621861920732]
  本稿では,国家のみの模倣学習について考察する。 我々は、逆ダイナミクスモデルをトレーニングし、状態のみのデモンストレーションのアクションを予測するためにそれを使用します。 我々の手法は状態-作用アプローチと同等に動作し、RL単独よりもかなり優れています。
  論文  参考訳（メタデータ） (2020-04-07T17:57:20Z)
• Towards Learning to Imitate from a Single Video Demonstration [11.15358253586118]
  我々は,映像観察を模倣して学習できる強化学習エージェントを開発した。 我々は、Siameseリカレントニューラルネットワークアーキテクチャを使用して、モーションクリップ間の空間と時間における報酬を学習する。 シミュレーションされたヒューマノイド, 犬, ラプターエージェントを2D, 四足歩行, ヒューマノイドを3Dで示す。
  論文  参考訳（メタデータ） (2019-01-22T06:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。