論文の概要: Sample Efficiency in Sparse Reinforcement Learning: Or Your Money Back

• arxiv url: http://arxiv.org/abs/2008.12693v1
• Date: Fri, 28 Aug 2020 14:48:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 01:21:49.809490
• Title: Sample Efficiency in Sparse Reinforcement Learning: Or Your Money Back
• Title（参考訳）: スパース強化学習におけるサンプル効率:または、マネーバック
• Authors: Trevor A. McInroe
• Abstract要約: 私たちは、Hindsight Experience Replay(HER)で動作するように設計されたリプレイメモリサンプリングであるOr Your Money Back(OYMB)を紹介します。 OYMBはエージェントのリプレイメモリに直接インタフェースを提供することで、スパース設定でのトレーニング効率を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse rewards present a difficult problem in reinforcement learning and may be inevitable in certain domains with complex dynamics such as real-world robotics. Hindsight Experience Replay (HER) is a recent replay memory development that allows agents to learn in sparse settings by altering memories to show them as successful even though they may not be. While, empirically, HER has shown some success, it does not provide guarantees around the makeup of samples drawn from an agent's replay memory. This may result in minibatches that contain only memories with zero-valued rewards or agents learning an undesirable policy that completes HER-adjusted goals instead of the actual goal. In this paper, we introduce Or Your Money Back (OYMB), a replay memory sampler designed to work with HER. OYMB improves training efficiency in sparse settings by providing a direct interface to the agent's replay memory that allows for control over minibatch makeup, as well as a preferential lookup scheme that prioritizes real-goal memories before HER-adjusted memories. We test our approach on five tasks across three unique environments. Our results show that using HER in combination with OYMB outperforms using HER alone and leads to agents that learn to complete the real goal more quickly.
• Abstract（参考訳）: スパース報酬は強化学習において難しい問題を示し、現実のロボット工学のような複雑なダイナミクスを持つ特定の領域では避けられない可能性がある。 hindsight experience replay (her) は近年のリプレイメモリ開発であり、エージェントは、たとえそうでなくても、記憶を変化させて成功を示すことによって、スパースな設定で学習することができる。 経験上、彼女はある程度成功したが、エージェントのリプレイメモリから引き出されたサンプルのメイクに関する保証は提供していない。 この結果、無価値の報酬を持つ記憶のみを含むミニバッチや、実際のゴールではなくHER調整された目標を達成する望ましくないポリシーを学ぶエージェントが生まれる。 本稿では,HERと協調して動作するリプレイメモリサンプリング機Or Your Money Back (OYMB)を紹介する。 OYMBは、エージェントのリプレイメモリに直接インタフェースを提供し、ミニバッチメイクの制御を可能にするとともに、HER調整メモリよりもリアルゴールメモリを優先する優先的なルックアップスキームを提供することにより、スパース設定でのトレーニング効率を向上させる。 3つの異なる環境にわたる5つのタスクでアプローチをテストします。 以上の結果から,HERとOYMBを併用すると,HER単独で性能が向上し,実際の目標をより早く達成するエージェントが学習されることが示唆された。

関連論文リスト

• TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning [7.627299398469962]
  TEALは,メモリを例に示す新しい手法である。 TEAL は複数の画像認識ベンチマークにおいて,SOTA 法 XDER と ER と ER-ACE の平均精度を向上することを示す。
  論文  参考訳（メタデータ） (2024-06-30T12:09:08Z)
• AdaIR: Exploiting Underlying Similarities of Image Restoration Tasks with Adapters [57.62742271140852]
  AdaIRは、パフォーマンスを犠牲にすることなく、低コストで効率的なトレーニングを可能にする新しいフレームワークである。 AdaIRは軽量でタスク固有のモジュールのトレーニングのみを必要とし、より効率的なストレージとトレーニング体制を確保する。
  論文  参考訳（メタデータ） (2024-04-17T15:31:06Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Relay Hindsight Experience Replay: Continual Reinforcement Learning for Robot Manipulation Tasks with Sparse Rewards [26.998587654269873]
  我々はRelay-HER(RHER)と呼ばれるモデルなし連続RLアルゴリズムを提案する。 提案手法はまず,元の長軸タスクを段階的に複雑化した新しいサブタスクに分解,再配置する。 実験の結果,5つのロボット操作作業において,バニラ-HERに比べてRHERのサンプル効率が有意に向上したことが示された。
  論文  参考訳（メタデータ） (2022-08-01T13:30:01Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• MHER: Model-based Hindsight Experience Replay [33.00149668905828]
  マルチゴール強化学習の問題を解決するために,モデルに基づくHHER(Hindsight Experience Replay)を提案する。 トレーニングされたダイナミックスモデルとのインタラクションから生成された仮想目標に元の目標を置き換えることで、新たなレザベリングメソッドが実現される。 MHERは、仮想的な達成目標を生成するために環境力学を活用することにより、より効率的に体験を利用する。
  論文  参考訳（メタデータ） (2021-07-01T08:52:45Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Curious Exploration and Return-based Memory Restoration for Deep Reinforcement Learning [2.3226893628361682]
  本稿では,バイナリ成功/障害報酬関数を用いて,単一エージェントの目標達成のためのトレーニングに焦点をあてる。 提案手法は,かなり複雑な状態と動作空間を有する環境でエージェントを訓練するために利用できる。
  論文  参考訳（メタデータ） (2021-05-02T16:01:34Z)
• Mutual Information State Intrinsic Control [91.38627985733068]
  本質的に動機づけられたRLは、本質的な報酬関数を定義することによって、この制約を取り除こうとする。 心理学における自己意識の概念に動機付けられ、エージェントが自分自身を構成するものを知っているという自然な仮定を立てる。 我々は,この報酬をエージェント状態と周辺状態の相互情報として数学的に定式化する。
  論文  参考訳（メタデータ） (2021-03-15T03:03:36Z)
• Bias-reduced multi-step hindsight experience replay [12.277806851513835]
  マルチゴール強化学習における2つの主な課題は、スパース報酬とサンプル非効率である。 Hindsight Experience Replay (HER)は、隠れた知識で2つの課題に取り組むことを目的としている。 n$-stepリラベルに基づくmphMulti-step Hindsight Experience Replay(MHER)を提案し、マルチステップリラベルリターンを取り入れてサンプル効率を向上させます。
  論文  参考訳（メタデータ） (2021-02-25T16:05:57Z)
• Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
  教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。 本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
  論文  参考訳（メタデータ） (2020-07-23T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。