論文の概要: Reward-Conditioned Policies

• arxiv url: http://arxiv.org/abs/1912.13465v1
• Date: Tue, 31 Dec 2019 18:07:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 20:24:35.088572
• Title: Reward-Conditioned Policies
• Title（参考訳）: 報酬条件付政策
• Authors: Aviral Kumar, Xue Bin Peng, Sergey Levine
• Abstract要約: 模倣学習には、ほぼ最適の専門家データが必要である。 実演なしで指導的学習を通じて効果的な政策を学べるか? 政策探索の原則的手法として,このようなアプローチを導出する方法を示す。
• 参考スコア（独自算出の注目度）: 100.64167842905069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning offers the promise of automating the acquisition of complex behavioral skills. However, compared to commonly used and well-understood supervised learning methods, reinforcement learning algorithms can be brittle, difficult to use and tune, and sensitive to seemingly innocuous implementation decisions. In contrast, imitation learning utilizes standard and well-understood supervised learning methods, but requires near-optimal expert data. Can we learn effective policies via supervised learning without demonstrations? The main idea that we explore in this work is that non-expert trajectories collected from sub-optimal policies can be viewed as optimal supervision, not for maximizing the reward, but for matching the reward of the given trajectory. By then conditioning the policy on the numerical value of the reward, we can obtain a policy that generalizes to larger returns. We show how such an approach can be derived as a principled method for policy search, discuss several variants, and compare the method experimentally to a variety of current reinforcement learning methods on standard benchmarks.
• Abstract（参考訳）: 強化学習は複雑な行動スキルの獲得を自動化することを約束する。 しかし、一般的によく知られた教師付き学習方法に比べ、強化学習アルゴリズムは不安定であり、使用とチューニングが難しく、一見無害な実装決定に敏感である。 対照的に、模倣学習は標準的かつ十分に理解された教師付き学習手法を用いるが、ほぼ最適のエキスパートデータを必要とする。 実演なしで指導的学習を通じて効果的な政策を学べるか? この研究で検討する主な考え方は、最適でない政策から集めた非専門的な軌道は、報酬の最大化ではなく、与えられた軌道の報酬の一致のために最適な監督と見なせることである。 すると、報酬の数値にポリシーを条件付けすることで、より大きなリターンに一般化するポリシーを得ることができる。 このような手法を政策探索の原則的手法として導出し、いくつかの変種を議論し、その手法を標準ベンチマーク上の様々な強化学習手法と実験的に比較する方法を示す。

関連論文リスト

• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Language-Conditioned Semantic Search-Based Policy for Robotic Manipulation Tasks [2.1332830068386217]
  言語条件のセマンティックサーチに基づくオンラインサーチベースのポリシーを作成する手法を提案する。 提案手法は,CALVINベンチマークのベースライン性能を超越し,ゼロショット適応性能が向上する。
  論文  参考訳（メタデータ） (2023-12-10T16:17:00Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Deconfounding Imitation Learning with Variational Inference [19.99248795957195]
  標準的な模倣学習は、スペシャリストが模倣剤とは異なる感覚入力を持つ場合、失敗する可能性がある。 これは、部分的な可観測性によって、因果グラフに隠された共同創設者が生まれるためである。 本稿では,専門家の潜伏情報を推測するために変分推論モデルを訓練し,それを用いて潜伏条件ポリシーを訓練することを提案する。
  論文  参考訳（メタデータ） (2022-11-04T18:00:02Z)
• Online Learning with Off-Policy Feedback [18.861989132159945]
  本研究では,オフポリシーフィードバックと呼ばれる部分的可観測性モデルの下で,対向的帯域幅問題におけるオンライン学習の問題点について検討する。 我々は,任意のコンパレータポリシーと行動ポリシーのミスマッチという自然な概念でスケールする後悔境界を保証するアルゴリズムのセットを提案する。
  論文  参考訳（メタデータ） (2022-07-18T21:57:16Z)
• Imitating Past Successes can be Very Suboptimal [145.70788608016755]
  既存の結果条件付き模倣学習手法が必ずしもポリシーを改善できないことを示す。 簡単な修正が、政策改善を保証する方法をもたらすことを示す。 我々の目的は、全く新しい方法を開発するのではなく、成果条件付き模倣学習の変種が報酬を最大化するためにどのように使用できるかを説明することである。
  論文  参考訳（メタデータ） (2022-06-07T15:13:43Z)
• Off-Policy Imitation Learning from Observations [78.30794935265425]
  観察からの学習(lfo)は、多くのアプリケーションが利用できる実用的な強化学習シナリオである。 オフポリシ最適化を原則的に実現するサンプル効率の高いLfOアプローチを提案する。 我々のアプローチは、サンプル効率と性能の両面で最先端のロコモーションに匹敵する。
  論文  参考訳（メタデータ） (2021-02-25T21:33:47Z)
• Regularized Inverse Reinforcement Learning [49.78352058771138]
  逆強化学習(IRL)は、学習者が専門家の行動を模倣する能力を促進することを目的としている。 正規化IRLは学習者のポリシーに強い凸正則化を施す。 正規化IRLのためのトラクタブルソリューションとそれを得るための実用的な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T23:38:47Z)
• Average Reward Adjusted Discounted Reinforcement Learning: Near-Blackwell-Optimal Policies for Real-World Applications [0.0]
  強化学習は、与えられたマルコフ決定プロセスの最適な定常ポリシーを見つけることを目的としている。 本稿では,広く適用されている標準割引強化学習フレームワークについて,理論的考察を行う。 我々はブラックウェル-最適強化学習アルゴリズムを新たに構築する。
  論文  参考訳（メタデータ） (2020-04-02T08:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。