論文の概要: Safe Imitation Learning via Fast Bayesian Reward Inference from
Preferences
- arxiv url: http://arxiv.org/abs/2002.09089v4
- Date: Thu, 17 Dec 2020 21:48:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 00:33:58.786790
- Title: Safe Imitation Learning via Fast Bayesian Reward Inference from
Preferences
- Title(参考訳): 選好からの高速ベイズ逆流推論による安全な模倣学習
- Authors: Daniel S. Brown, Russell Coleman, Ravi Srinivasan, Scott Niekum
- Abstract要約: 本研究では,高次元模倣学習問題にスケールする効率のよいベイズ報酬学習アルゴリズムを提案する。
ベイジアンREXは、ゲームスコアにアクセスせずにデモからアタリゲームを学べる。
ベイジアンREXはまた、最先端の手法と競合する、あるいは優れた模倣学習性能をもたらす。
- 参考スコア(独自算出の注目度): 32.246602379810426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian reward learning from demonstrations enables rigorous safety and
uncertainty analysis when performing imitation learning. However, Bayesian
reward learning methods are typically computationally intractable for complex
control problems. We propose Bayesian Reward Extrapolation (Bayesian REX), a
highly efficient Bayesian reward learning algorithm that scales to
high-dimensional imitation learning problems by pre-training a low-dimensional
feature encoding via self-supervised tasks and then leveraging preferences over
demonstrations to perform fast Bayesian inference. Bayesian REX can learn to
play Atari games from demonstrations, without access to the game score and can
generate 100,000 samples from the posterior over reward functions in only 5
minutes on a personal laptop. Bayesian REX also results in imitation learning
performance that is competitive with or better than state-of-the-art methods
that only learn point estimates of the reward function. Finally, Bayesian REX
enables efficient high-confidence policy evaluation without having access to
samples of the reward function. These high-confidence performance bounds can be
used to rank the performance and risk of a variety of evaluation policies and
provide a way to detect reward hacking behaviors.
- Abstract(参考訳): デモンストレーションによるベイズ報酬学習は、模倣学習を行う際の厳密な安全性と不確実性分析を可能にする。
しかし、ベイジアン報酬学習法は一般に複雑な制御問題に対して計算的に難解である。
ベイジアン・リワード補間法(Bayesian Reward Extrapolation, Bayesian REX)を提案する。ベイジアン・リワード学習アルゴリズムは, 自己教師付きタスクによる低次元特徴符号化を事前学習し, 実演よりも好みを生かして高速なベイジアン推定を行う。
Bayesian REXはデモからAtariゲームを学ぶことができ、ゲームスコアにアクセスすることなく、パーソナルラップトップでわずか5分で後部報酬関数から10万のサンプルを生成することができる。
ベイジアンREXはまた、報酬関数の点推定のみを学習する最先端の手法と競合するか、それ以上の模倣学習性能をもたらす。
最後に、ベイジアンREXは報酬関数のサンプルにアクセスすることなく、効率的な高信頼度ポリシー評価を可能にする。
これらの信頼性の高いパフォーマンス境界は、さまざまな評価ポリシーのパフォーマンスとリスクをランク付けし、報酬ハッキング行動を検出する手段を提供するために使用できる。
関連論文リスト
- DreamSmooth: Improving Model-based Reinforcement Learning via Reward
Smoothing [60.21269454707625]
DreamSmoothは、与えられたタイミングでの正確な報酬ではなく、時間的に滑らかな報酬を予測することを学ぶ。
本研究では,DreamSmoothが長時間のスパース・リワードタスクにおいて最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2023-11-02T17:57:38Z) - Kernel Density Bayesian Inverse Reinforcement Learning [6.03878742235195]
逆強化学習(IRL)は、エージェントの行動を観察して報酬関数を推測する強力なフレームワークである。
本稿では、条件付きカーネル密度推定を用いて、その可能性を直接近似するカーネル密度ベイズIRLを提案する。
論文 参考訳(メタデータ) (2023-03-13T03:00:03Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳(メタデータ) (2022-12-26T15:13:13Z) - Basis for Intentions: Efficient Inverse Reinforcement Learning using
Past Experience [89.30876995059168]
逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。
本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
論文 参考訳(メタデータ) (2022-08-09T17:29:49Z) - Reward Relabelling for combined Reinforcement and Imitation Learning on
sparse-reward tasks [2.0305676256390934]
そこで本稿では, オンライン上で収集した実演とエピソードを, オフ・ポリティクス・アルゴリズムを用いて任意のスパース・リワード環境において活用する手法を提案する。
本手法は、実演や成功エピソードに与えられる報酬ボーナスに基づいて、専門家の模倣と自己模倣を奨励する。
実験では、ロボット工学の操作、特にシミュレーションにおける6自由度ロボットアームの3つのタスクに焦点を当てた。
論文 参考訳(メタデータ) (2022-01-11T08:35:18Z) - Anti-Concentrated Confidence Bonuses for Scalable Exploration [57.91943847134011]
固有の報酬は、探検と探検のトレードオフを扱う上で中心的な役割を果たす。
楕円ボーナスを効率的に近似するためのエンファンティ集中型信頼境界を導入する。
我々は,Atariベンチマーク上での現代固有の報酬と競合する,深層強化学習のための実用的な変種を開発する。
論文 参考訳(メタデータ) (2021-10-21T15:25:15Z) - Self-Supervised Exploration via Latent Bayesian Surprise [4.088019409160893]
本研究では,強化学習に固有の報酬として,好奇心に基づくボーナスを提案する。
環境調査の観点から、エージェントの性能を計測し、モデルを幅広く評価します。
我々のモデルは安価で経験的にいくつかの問題に対して最先端の性能を示す。
論文 参考訳(メタデータ) (2021-04-15T14:40:16Z) - Replacing Rewards with Examples: Example-Based Policy Search via
Recursive Classification [133.20816939521941]
標準的なマルコフ決定プロセス形式では、ユーザーは報酬関数を書き留めてタスクを指定する。
多くのシナリオでは、ユーザーはタスクを単語や数字で記述できないが、タスクが解決された場合の世界がどのように見えるかを簡単に示すことができる。
この観察に動機づけられた制御アルゴリズムは、成功した結果状態の例だけを考慮すれば、成功する結果につながる確率の高い状態を訪問することを目的としている。
論文 参考訳(メタデータ) (2021-03-23T16:19:55Z) - Provably Efficient Reward-Agnostic Navigation with Linear Value
Iteration [143.43658264904863]
我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。
そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
論文 参考訳(メタデータ) (2020-08-18T04:34:21Z) - oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally
Extended Actions [37.66289166905027]
与えられた環境に対する報酬関数の明示的エンジニアリングは、強化学習方法の大きな障害となっている。
本稿では,階層的不整合報酬を選択肢に対するポリシーで学習するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-20T22:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。