論文の概要: USHER: Unbiased Sampling for Hindsight Experience Replay

• arxiv url: http://arxiv.org/abs/2207.01115v1
• Date: Sun, 3 Jul 2022 20:25:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 05:46:25.315477
• Title: USHER: Unbiased Sampling for Hindsight Experience Replay
• Title（参考訳）: USHER: 身近な体験をリプレイするアンバイアスなサンプリング
• Authors: Liam Schramm, Yunfu Deng, Edgar Granados, Abdeslam Boularias
• Abstract要約: 報酬の希薄化は強化学習(RL)における長年の課題である Hindsight Experience Replay (HER)は、ある目標に対して失敗した軌道を他の目標に対して成功した軌道として再利用することでこの問題に対処する。 この戦略は、環境における悪い結果の可能性を過小評価するため、バイアス値関数をもたらすことが知られている。 本稿では,決定論的環境における性能を犠牲にすることなく,この問題に対処する重要度に基づくアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 12.660090786323067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dealing with sparse rewards is a long-standing challenge in reinforcement learning (RL). Hindsight Experience Replay (HER) addresses this problem by reusing failed trajectories for one goal as successful trajectories for another. This allows for both a minimum density of reward and for generalization across multiple goals. However, this strategy is known to result in a biased value function, as the update rule underestimates the likelihood of bad outcomes in a stochastic environment. We propose an asymptotically unbiased importance-sampling-based algorithm to address this problem without sacrificing performance on deterministic environments. We show its effectiveness on a range of robotic systems, including challenging high dimensional stochastic environments.
• Abstract（参考訳）: 報酬の希薄化は、強化学習(RL)における長年の課題である。 Hindsight Experience Replay (HER)は、ある目標に対して失敗した軌道を他の目標に対して成功した軌道として再利用することでこの問題に対処する。 これにより、報酬の最小密度と、複数の目標に対する一般化の両方が可能となる。 しかし、この戦略は確率的環境における悪い結果の可能性を過小評価するため、バイアス値関数をもたらすことが知られている。 本稿では,決定論的環境の性能を犠牲にすることなく,漸近的に偏りのない重要サンプリングに基づくアルゴリズムを提案する。 我々は,高次元確率環境への挑戦を含む,様々なロボットシステムにおいてその効果を示す。

関連論文リスト

• No Regrets: Investigating and Improving Regret Approximations for Curriculum Discovery [53.08822154199948]
  非教師なし環境設計(UED)手法は、エージェントがイン・オブ・アウト・ディストリビューションタスクに対して堅牢になることを約束する適応的カリキュラムとして近年注目を集めている。 本研究は,既存のUEDメソッドがいかにトレーニング環境を選択するかを検討する。 本研究では,学習性の高いシナリオを直接訓練する手法を開発した。
  論文  参考訳（メタデータ） (2024-08-27T14:31:54Z)
• The Perils of Optimizing Learned Reward Functions: Low Training Error Does Not Guarantee Low Regret [64.04721528586747]
  強化学習では、意図したタスクをキャプチャする報酬関数を指定することが非常に難しい。 本稿では,報奨モデルの十分低いテスト誤差が,最悪の場合の後悔を保証できることを数学的に示す。 次に、RLHFのような手法でよく用いられるポリシー正則化手法を用いても、同様の問題が持続することを示す。
  論文  参考訳（メタデータ） (2024-06-22T06:43:51Z)
• REBEL: A Regularization-Based Solution for Reward Overoptimization in Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数とユーザの意図、価値観、社会的規範の相違は、現実世界で破滅的なものになる可能性がある。 人間の嗜好から報酬関数を学習することで、このミスアライメント作業を軽減するための現在の方法。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• MRHER: Model-based Relay Hindsight Experience Replay for Sequential Object Manipulation Tasks with Sparse Rewards [11.79027801942033]
  モデルベース Relay Hindsight Experience Replay (MRHER) と呼ばれる新しいモデルベースRLフレームワークを提案する。 MRHERは、継続的なタスクを複雑さを増してサブタスクに分解し、以前のサブタスクを使用して、その後のタスクの学習をガイドする。 MRHERは、ベンチマークタスクにおいて最先端のサンプル効率を示し、RHERの13.79%、14.29%を上回っている。
  論文  参考訳（メタデータ） (2023-06-28T09:51:25Z)
• You Can't Count on Luck: Why Decision Transformers Fail in Stochastic Environments [31.117949189062895]
  予測タスクへの強化学習を減らし、教師付き学習(RvS)によって解決する決定変換器は、その単純さ、ハイパースに対する堅牢性、オフラインタスクにおける全体的なパフォーマンスの強化などにより人気を博している。 しかし、単にモデルに所望のリターンを条件付け、予測されたアクションを取るだけで、運の悪さによるリターンをもたらす環境において、劇的に失敗する可能性がある。 本稿では,環境におけるRvSアプローチの限界について述べ,その解決策を提案する。 従来の手法のように単一軌道の戻りを単に条件づけるのではなく、提案手法であるESPERはクラスタ・トラジェクトリと条件を学ぶ。
  論文  参考訳（メタデータ） (2022-05-31T17:15:44Z)
• Unbiased Methods for Multi-Goal Reinforcement Learning [13.807859854345834]
  マルチゴール強化学習では、各ゴールに対する報酬は希少であり、ゴールの小さな近傍に位置する。 我々は,HER(Hindsight Experience Replay)が,チャンシーの結果を過大評価することにより,低リターンポリシーに収束できることを示す。 我々は、このような無限にスパースな報酬を処理し、おもちゃの環境でそれらをテストできる、偏見のない深いQ-ラーニングとアクター-クリティカルなアルゴリズムを導入します。
  論文  参考訳（メタデータ） (2021-06-16T15:31:51Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
  地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。 サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。 サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-11T16:19:16Z)
• Soft Hindsight Experience Replay [77.99182201815763]
  ソフト・ハイドサイト・エクスペリエンス・リプレイ(SHER)は,HERと最大エントロピー強化学習(MERL)に基づく新しいアプローチである オープンAIロボット操作タスクにおけるSHERの評価を行った。
  論文  参考訳（メタデータ） (2020-02-06T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。