論文の概要: Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments

• arxiv url: http://arxiv.org/abs/2012.02527v1
• Date: Fri, 4 Dec 2020 11:18:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 20:51:46.218854
• Title: Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
• Title（参考訳）: 手続き的生成環境における実証効率の良い逆強化学習
• Authors: Alessandro Sestini, Alexander Kuhnle and Andrew D. Bagdanov
• Abstract要約: 逆強化学習(Inverse Reinforcement Learning)は、専門家によるデモンストレーションから報酬関数を外挿する。 提案手法であるDE-AIRLは、実演効率が高く、完全手続き領域に一般化する報酬関数を外挿できることを示す。
• 参考スコア（独自算出の注目度）: 137.86426963572214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Reinforcement Learning achieves very good results in domains where reward functions can be manually engineered. At the same time, there is growing interest within the community in using games based on Procedurally Content Generation (PCG) as benchmark environments since this type of environment is perfect for studying overfitting and generalization of agents under domain shift. Inverse Reinforcement Learning (IRL) can instead extrapolate reward functions from expert demonstrations, with good results even on high-dimensional problems, however there are no examples of applying these techniques to procedurally-generated environments. This is mostly due to the number of demonstrations needed to find a good reward model. We propose a technique based on Adversarial Inverse Reinforcement Learning which can significantly decrease the need for expert demonstrations in PCG games. Through the use of an environment with a limited set of initial seed levels, plus some modifications to stabilize training, we show that our approach, DE-AIRL, is demonstration-efficient and still able to extrapolate reward functions which generalize to the fully procedural domain. We demonstrate the effectiveness of our technique on two procedural environments, MiniGrid and DeepCrawl, for a variety of tasks.
• Abstract（参考訳）: 深層強化学習は、報酬関数を手作業で設計できる領域において、非常に良い結果をもたらす。 同時に、このタイプの環境はドメインシフト下でエージェントの過剰フィットと一般化を研究するのに最適であるため、pcg(procedurally content generation)に基づいたゲームをベンチマーク環境として使用するコミュニティの関心が高まっている。 逆強化学習(IRL)は、専門家によるデモンストレーションから報酬関数を外挿する代わりに、高次元問題においても良い結果が得られるが、これらのテクニックを手続き的に生成された環境に適用する例はない。 これは主に、良い報酬モデルを見つけるのに必要なデモの数のためです。 そこで本研究では,pcgゲームにおける実演の必要性を大幅に減らすことができる逆強化学習に基づく手法を提案する。 初期シードレベルが制限された環境と、トレーニングを安定させるためにいくつかの修正を加えることで、私たちのアプローチであるDE-AIRLは実証効率が高く、完全に手続き領域に一般化する報酬関数を外挿できることを示す。 本手法は,MiniGridとDeepCrawlの2つの手続き環境において,様々なタスクに対して有効であることを示す。

関連論文リスト

• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Sample Efficient Imitation Learning via Reward Function Trained in Advance [2.66512000865131]
  イミテーションラーニング(IL)は、実証から専門家の行動を模倣することを学ぶフレームワークである。 本稿では,逆強化学習の新たな手法を導入することで,サンプル効率の向上に尽力する。
  論文  参考訳（メタデータ） (2021-11-23T08:06:09Z)
• Efficiently Training On-Policy Actor-Critic Networks in Robotic Deep Reinforcement Learning with Demonstration-like Sampled Exploration [7.930709072852582]
  本稿では,アクター批判アルゴリズムに基づく実証から学ぶための一般的なフレームワークを提案する。 我々は,Mujocoの4つの標準ベンチマーク環境と,自設計の2つのロボット環境について実験を行った。
  論文  参考訳（メタデータ） (2021-09-27T12:42:05Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)
• GAN-Based Interactive Reinforcement Learning from Demonstration and Human Evaluative Feedback [6.367592686247906]
  本稿では,実演と人的評価フィードバックからganベースインタラクティブ強化学習(gairl)を提案する。 提案手法を6つの物理制御タスクで検証した。
  論文  参考訳（メタデータ） (2021-04-14T02:58:51Z)
• Composable Learning with Sparse Kernel Representations [110.19179439773578]
  再生カーネルヒルベルト空間におけるスパース非パラメトリック制御系を学習するための強化学習アルゴリズムを提案する。 正規化アドバンテージ関数を通じてステートアクション関数の構造を付与することにより、このアプローチのサンプル複雑さを改善します。 2次元環境下を走行しながらレーザースキャナーを搭載したロボットの複数シミュレーションにおける障害物回避政策の学習に関するアルゴリズムの性能を実証する。
  論文  参考訳（メタデータ） (2021-03-26T13:58:23Z)
• Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations [55.41644538483948]
  本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。 提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。 私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-06-17T15:38:40Z)
• Learning Sparse Rewarded Tasks from Sub-Optimal Demonstrations [78.94386823185724]
  模倣学習は、既存の専門家のデモンストレーションを活用することで、スパース・リワードされたタスクで効果的に学習する。 実際には、十分な量の専門家によるデモンストレーションを集めることは、違法にコストがかかる。 限られた数の準最適実演に限り、最適性能を(ほぼ)達成できる自己適応学習(SAIL)を提案する。
  論文  参考訳（メタデータ） (2020-04-01T15:57:15Z)
• oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions [37.66289166905027]
  与えられた環境に対する報酬関数の明示的エンジニアリングは、強化学習方法の大きな障害となっている。 本稿では,階層的不整合報酬を選択肢に対するポリシーで学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-20T22:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。