論文の概要: Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

• arxiv url: http://arxiv.org/abs/2203.15103v1
• Date: Mon, 28 Mar 2022 21:17:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 10:46:30.466528
• Title: Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions
• Title（参考訳）: 逆行性複合機能のための逆行性前駆体
• Authors: Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, and Pieter Abbeel
• Abstract要約: 強化学習実践者は、身体的にもっともらしい行動を促進する複雑な報酬関数を利用することが多い。 そこで我々は,モーションキャプチャのデモンストレーションデータセットから学習した「スタイル報酬」で複雑な報酬関数を置換する手法を提案する。 学習スタイルの報酬と任意のタスク報酬を組み合わせることで、自然主義戦略を使ってタスクを実行するポリシーを訓練することができる。
• 参考スコア（独自算出の注目度）: 124.11520774395748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training a high-dimensional simulated agent with an under-specified reward function often leads the agent to learn physically infeasible strategies that are ineffective when deployed in the real world. To mitigate these unnatural behaviors, reinforcement learning practitioners often utilize complex reward functions that encourage physically plausible behaviors. However, a tedious labor-intensive tuning process is often required to create hand-designed rewards which might not easily generalize across platforms and tasks. We propose substituting complex reward functions with "style rewards" learned from a dataset of motion capture demonstrations. A learned style reward can be combined with an arbitrary task reward to train policies that perform tasks using naturalistic strategies. These natural strategies can also facilitate transfer to the real world. We build upon Adversarial Motion Priors -- an approach from the computer graphics domain that encodes a style reward from a dataset of reference motions -- to demonstrate that an adversarial approach to training policies can produce behaviors that transfer to a real quadrupedal robot without requiring complex reward functions. We also demonstrate that an effective style reward can be learned from a few seconds of motion capture data gathered from a German Shepherd and leads to energy-efficient locomotion strategies with natural gait transitions.
• Abstract（参考訳）: 未特定報酬機能を持つ高次元シミュレーションエージェントを訓練することで、エージェントは現実世界に配備するときに効果のない物理的に実現不可能な戦略を学ぶことができる。 これらの不自然な行動を緩和するために、強化学習実践者は複雑な報酬関数を使い、身体的に妥当な行動を奨励する。 しかし、プラットフォームやタスクをまたいで簡単に一般化できない手作りの報酬を作成するには、退屈な労働集約的なチューニングプロセスがしばしば必要となる。 そこで我々は,モーションキャプチャのデモンストレーションデータセットから学習した「スタイル報酬」を用いた複雑な報酬関数の置換を提案する。 学習スタイルの報酬と任意のタスク報酬を組み合わせることで、自然主義戦略を使ってタスクを実行するポリシーを訓練することができる。 これらの自然な戦略は現実世界への移動を促進することができる。 我々は、参照動作のデータセットからスタイル報酬をエンコードするコンピュータグラフィックス領域からのアプローチである、Adversarial Motion Priorsに基づいて、トレーニングポリシーに対する敵のアプローチが、複雑な報酬関数を必要とせずに、実際の四足歩行ロボットに転送する振る舞いを生成できることを実証する。 また、ドイツのシェパードから収集された数秒間のモーションキャプチャデータから効果的なスタイル報酬が学習され、自然歩行遷移を伴うエネルギー効率の高い移動戦略が導かれることを示した。

関連論文リスト

• Infer and Adapt: Bipedal Locomotion Reward Learning from Demonstrations via Inverse Reinforcement Learning [5.246548532908499]
  本稿では、複雑な地形上の二足歩行問題を解決するために、最先端の逆強化学習(IRL)技術を導入する。 専門家の報酬関数を学習するためのアルゴリズムを提案し、その後、学習関数を解析する。 両足歩行ポリシーを推定報酬関数で訓練することで、視認できない地形での歩行性能が向上することが実証的に実証された。
  論文  参考訳（メタデータ） (2023-09-28T00:11:06Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Transferable Reward Learning by Dynamics-Agnostic Discriminator Ensemble [8.857776147129464]
  専門家によるデモンストレーションから報酬関数を復元することは、強化学習における根本的な問題である。 本研究では、状態行動と状態のみの報酬関数の両方を学習できる動的非依存型識別器・アンサンブル報酬学習法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T05:16:39Z)
• ASE: Large-Scale Reusable Adversarial Skill Embeddings for Physically Simulated Characters [123.88692739360457]
  汎用運動技術により、人間は複雑な作業を行うことができる。 これらのスキルは、新しいタスクを学ぶときの振る舞いを導くための強力な先駆者も提供します。 物理シミュレーション文字のための汎用的で再利用可能なスキル埋め込みを学習するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-04T06:13:28Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Generative Adversarial Reward Learning for Generalized Behavior Tendency Inference [71.11416263370823]
  ユーザの行動嗜好モデルのための生成的逆強化学習を提案する。 我々のモデルは,差別的アクター批判ネットワークとWasserstein GANに基づいて,ユーザの行動から報酬を自動的に学習することができる。
  論文  参考訳（メタデータ） (2021-05-03T13:14:25Z)
• Curious Exploration and Return-based Memory Restoration for Deep Reinforcement Learning [2.3226893628361682]
  本稿では,バイナリ成功/障害報酬関数を用いて,単一エージェントの目標達成のためのトレーニングに焦点をあてる。 提案手法は,かなり複雑な状態と動作空間を有する環境でエージェントを訓練するために利用できる。
  論文  参考訳（メタデータ） (2021-05-02T16:01:34Z)
• Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning [81.12201426668894]
  報奨関数を使わずに多様なスキルを習得し,これらのスキルを下流のタスクに再利用する効率的な強化学習手法を開発した。 提案アルゴリズムは学習効率を大幅に向上させ,報酬のない実世界のトレーニングを実現する。 また,学習スキルは,目標指向ナビゲーションのためのモデル予測制御を用いて,追加のトレーニングを伴わずに構成可能であることも実証した。
  論文  参考訳（メタデータ） (2020-04-27T17:38:53Z)
• oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions [37.66289166905027]
  与えられた環境に対する報酬関数の明示的エンジニアリングは、強化学習方法の大きな障害となっている。 本稿では,階層的不整合報酬を選択肢に対するポリシーで学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-20T22:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。