論文の概要: Why So Pessimistic? Estimating Uncertainties for Offline RL through
Ensembles, and Why Their Independence Matters
- arxiv url: http://arxiv.org/abs/2205.13703v1
- Date: Fri, 27 May 2022 01:30:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 14:49:57.965825
- Title: Why So Pessimistic? Estimating Uncertainties for Offline RL through
Ensembles, and Why Their Independence Matters
- Title（参考訳）: なぜ悲観的であるのか?
アンサンブルによるオフラインRLの不確かさの推定とその独立性
- Authors: Seyed Kamyar Seyed Ghasemipour, Shixiang Shane Gu, Ofir Nachum
- Abstract要約: オフライン強化学習(RL)における悲観主義の根源として、Q$関数のアンサンブルをどのように活用できるかを、再検討する。
我々は、完全に独立したネットワークに基づいて、独立に計算されたターゲットと$Q$関数のアンサンブルを訓練する実用的なオフラインRLアルゴリズムMSGを提案する。
D4RL と RL Unplugged のオフライン RL ベンチマーク実験により,深いアンサンブルを持つMSG が高度に調整された最先端の手法を広いマージンで超えることを示した。
- 参考スコア（独自算出の注目度）: 35.17151863463472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by the success of ensembles for uncertainty estimation in
supervised learning, we take a renewed look at how ensembles of $Q$-functions
can be leveraged as the primary source of pessimism for offline reinforcement
learning (RL). We begin by identifying a critical flaw in a popular algorithmic
choice used by many ensemble-based RL algorithms, namely the use of shared
pessimistic target values when computing each ensemble member's Bellman error.
Through theoretical analyses and construction of examples in toy MDPs, we
demonstrate that shared pessimistic targets can paradoxically lead to value
estimates that are effectively optimistic. Given this result, we propose MSG, a
practical offline RL algorithm that trains an ensemble of $Q$-functions with
independently computed targets based on completely separate networks, and
optimizes a policy with respect to the lower confidence bound of predicted
action values. Our experiments on the popular D4RL and RL Unplugged offline RL
benchmarks demonstrate that on challenging domains such as antmazes, MSG with
deep ensembles surpasses highly well-tuned state-of-the-art methods by a wide
margin. Additionally, through ablations on benchmarks domains, we verify the
critical significance of using independently trained $Q$-functions, and study
the role of ensemble size. Finally, as using separate networks per ensemble
member can become computationally costly with larger neural network
architectures, we investigate whether efficient ensemble approximations
developed for supervised learning can be similarly effective, and demonstrate
that they do not match the performance and robustness of MSG with separate
networks, highlighting the need for new efforts into efficient uncertainty
estimation directed at RL.
- Abstract（参考訳）: 教師あり学習における不確実性推定のためのアンサンブルの成功に動機づけられ、オフライン強化学習(rl)における悲観主義の主な源としてq$関数アンサンブルをどのように活用できるかを改めて検討する。
我々はまず,多くのアンサンブルベースのRLアルゴリズムが使用するアルゴリズム選択において,各アンサンブルメンバーのベルマン誤差を計算する際に,共有悲観的目標値を用いることによって重要な欠陥を特定することから始める。
おもちゃのMDPの例の理論的分析と構築を通じて、共有悲観的目標が効果的に楽観的な価値推定をパラドックス的に導くことを示した。
この結果から,完全に分離されたネットワークに基づいて,独立に計算された目標に対して$Q$関数のアンサンブルを訓練し,予測された行動値の信頼度を低くするポリシーを最適化する,実用的なオフラインRLアルゴリズムであるMSGを提案する。
D4RL と RL Unplugged のオフライン RL ベンチマークによる実験により,アントマゼのような難易度の高い領域では,深いアンサンブルを持つMSG が高度に調整された最先端の手法を広いマージンで超えることを示した。
さらに,ベンチマーク領域におけるアブレーションを通じて,独立に訓練された$q$-関数を用いた場合の重要意義を検証し,アンサンブルサイズの役割について検討する。
最後に、アンサンブル部材毎に分離したネットワークを使用することで、より大きなニューラルネットワークアーキテクチャで計算コストがかかるため、教師付き学習のために開発された効率的なアンサンブル近似が同様に効果的であるかどうかを検証し、rl指向の効率的な不確実性推定への新たな取り組みの必要性を強調する。
関連論文リスト
- UDQL: Bridging The Gap between MSE Loss and The Optimal Value Function in Offline Reinforcement Learning [10.593924216046977]
まず,MSEによる過大評価現象を理論的に解析し,過大評価誤差の理論的上限を与える。
最後に、過小評価演算子と拡散ポリシーモデルに基づくオフラインRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-05T14:37:42Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である
我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。
提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
論文 参考訳（メタデータ） (2024-05-16T17:58:44Z) - Neural Network Approximation for Pessimistic Offline Reinforcement
Learning [17.756108291816908]
一般ニューラルネットワーク近似を用いた悲観的オフラインRLの非漸近的推定誤差を提案する。
その結果, 推定誤差は2つの部分から構成されることがわかった。第1は, 部分的に制御可能な集束率でサンプルサイズに所望の速度で0に収束し, 第2は残留制約が厳密であれば無視可能である。
論文 参考訳（メタデータ） (2023-12-19T05:17:27Z) - SMORE: Score Models for Offline Goal-Conditioned Reinforcement Learning [33.125187822259186]
オフライン目標定義強化学習(GCRL)は、スパース報酬関数を使用して、オフラインデータセットから純粋な環境において、複数の目標を達成するための学習を行う。
我々は混合分布マッチングの新しいレンズの下でGCRLに新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-11-03T16:19:33Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:00:09Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳（メタデータ） (2022-12-14T07:35:20Z) - Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている
我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。
オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-29T17:29:08Z) - Uncertainty-Based Offline Reinforcement Learning with Diversified
Q-Ensemble [16.92791301062903]
本稿では,Q値予測の信頼性を考慮した不確実性に基づくオフラインRL手法を提案する。
意外なことに、カットされたQ-ラーニングとともにQ-networksの数を単純に増やすことで、既存のオフラインRLメソッドを様々なタスクで大幅に上回ります。
論文 参考訳（メタデータ） (2021-10-04T16:40:13Z) - Provably Efficient Algorithms for Multi-Objective Competitive RL [54.22598924633369]
エージェントの報酬がベクトルとして表現される多目的強化学習(RL)について検討する。
エージェントが相手と競合する設定では、その平均戻りベクトルから目標セットまでの距離によってその性能を測定する。
統計的および計算学的に効率的なアルゴリズムを開発し、関連するターゲットセットにアプローチする。
論文 参考訳（メタデータ） (2021-02-05T14:26:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。