論文の概要: Environment Design for Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2210.14972v2
• Date: Sun, 5 May 2024 18:35:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 03:39:13.972015
• Title: Environment Design for Inverse Reinforcement Learning
• Title（参考訳）: 逆強化学習のための環境設計
• Authors: Thomas Kleine Buening, Victor Villin, Christos Dimitrakakis,
• Abstract要約: 一つの環境から学ぶことに集中する現在の逆強化学習法は、環境力学のわずかな変化に対処できない可能性がある。 本フレームワークでは,学習者がエキスパートと繰り返し対話し,前者の選択環境を使って報酬関数を識別する。 その結果,サンプル効率とロバスト性の両方の改善が得られた。
• 参考スコア（独自算出の注目度）: 3.085995273374333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a reward function from demonstrations suffers from low sample-efficiency. Even with abundant data, current inverse reinforcement learning methods that focus on learning from a single environment can fail to handle slight changes in the environment dynamics. We tackle these challenges through adaptive environment design. In our framework, the learner repeatedly interacts with the expert, with the former selecting environments to identify the reward function as quickly as possible from the expert's demonstrations in said environments. This results in improvements in both sample-efficiency and robustness, as we show experimentally, for both exact and approximate inference.
• Abstract（参考訳）: デモンストレーションから報酬関数を学ぶことは、サンプル効率の低下に悩まされる。 豊富なデータであっても、単一の環境からの学習に焦点を当てた現在の逆強化学習手法は、環境ダイナミクスのわずかな変化に対処できない可能性がある。 適応環境設計を通じてこれらの課題に取り組む。 本フレームワークでは,学習者が専門家と繰り返し対話し,その環境における専門家のデモンストレーションから,報酬関数をできるだけ早く識別するために,前者の選択環境と対話する。 その結果,サンプル効率とロバスト性の両方の改善が得られた。

関連論文リスト

• Robust Visual Imitation Learning with Inverse Dynamics Representations [32.806294517277976]
  我々は,専門家環境と学習環境を整合させるために,逆ダイナミクス状態表現学習目標を開発する。 抽象状態表現を用いて、行動データと専門家データとの類似性を徹底的に測定する効果的な報酬関数を設計する。 提案手法は,ほとんどの環境においてほぼ熟練した性能を実現し,最先端のビジュアルIL法やロバストIL法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-22T11:47:35Z)
• Diversity Induced Environment Design via Self-Play [9.172096093540357]
  本研究では,与えられたレベルを表す観測・隠蔽状態を特定するタスク非依存の手法を提案する。 この手法の結果は, 2つのレベル間の多様性を特徴付けるために利用され, 有効性能に欠かせないことが示されている。 さらに, サンプリング効率を向上させるために, 環境生成装置がトレーニングエージェントに有利な環境を自動的に生成する自己再生技術を導入する。
  論文  参考訳（メタデータ） (2023-02-04T07:31:36Z)
• Continual Predictive Learning from Videos [100.27176974654559]
  本稿では,ビデオ予測の文脈において,新たな連続学習問題について検討する。 本稿では,連続予測学習(Continuousal predictive Learning, CPL)アプローチを提案する。 我々はRoboNetとKTHに基づく2つの新しいベンチマークを構築し、異なるタスクが異なる物理ロボット環境や人間の行動に対応するようにした。
  論文  参考訳（メタデータ） (2022-04-12T08:32:26Z)
• Perceiving the World: Question-guided Reinforcement Learning for Text-based Games [64.11746320061965]
  本稿では,環境に関する質問に答えることで,タスクやプーンアクションを自動的に分解する世界認識モジュールを提案する。 次に、強化学習から言語学習を分離する2段階学習フレームワークを提案し、サンプル効率をさらに向上させる。
  論文  参考訳（メタデータ） (2022-03-20T04:23:57Z)
• Sequential Bayesian experimental designs via reinforcement learning [0.0]
  我々は,BEDを逐次的に構築するために,強化学習による逐次実験設計を提案する。 提案手法は,新たな実世界指向実験環境を提案することで,期待される情報獲得を最大化することを目的としている。 提案手法は,EIGやサンプリング効率などの指標において,既存の手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2022-02-14T04:29:04Z)
• Attention Option-Critic [56.50123642237106]
  本稿では,オプション批判フレームワークへの注意に基づく拡張を提案する。 これは、状態抽象化も可能な振る舞いに多様な選択肢をもたらすことを示す。 また、学習した選択肢のより効率的で、解釈可能で、再利用可能な性質を、オプション批判と比較して示す。
  論文  参考訳（メタデータ） (2022-01-07T18:44:28Z)
• Sample Efficient Imitation Learning via Reward Function Trained in Advance [2.66512000865131]
  イミテーションラーニング(IL)は、実証から専門家の行動を模倣することを学ぶフレームワークである。 本稿では,逆強化学習の新たな手法を導入することで,サンプル効率の向上に尽力する。
  論文  参考訳（メタデータ） (2021-11-23T08:06:09Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments [137.86426963572214]
  逆強化学習(Inverse Reinforcement Learning)は、専門家によるデモンストレーションから報酬関数を外挿する。 提案手法であるDE-AIRLは、実演効率が高く、完全手続き領域に一般化する報酬関数を外挿できることを示す。
  論文  参考訳（メタデータ） (2020-12-04T11:18:02Z)
• Ecological Reinforcement Learning [76.9893572776141]
  このような条件下での学習を容易にする環境特性について検討する。 環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
  論文  参考訳（メタデータ） (2020-06-22T17:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。