論文の概要: Ensemble Quantile Networks: Uncertainty-Aware Reinforcement Learning
with Applications in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2105.10266v1
- Date: Fri, 21 May 2021 10:36:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 03:31:49.689126
- Title: Ensemble Quantile Networks: Uncertainty-Aware Reinforcement Learning
with Applications in Autonomous Driving
- Title（参考訳）: Ensemble Quantile Networks: 自律運転への応用による不確実性認識強化学習
- Authors: Carl-Johan Hoel, Krister Wolff, Leo Laine
- Abstract要約: 強化学習は、自律運転のための意思決定エージェントを作成するために使用できる。
これまでのアプローチではブラックボックスソリューションのみを提供しており、エージェントがその決定に対する自信について情報を提供していない。
本稿では,分布RLとアンサンブルアプローチを組み合わせて完全不確実性推定を行うEnsemble Quantile Networks (EQN)法を提案する。
- 参考スコア（独自算出の注目度）: 1.6758573326215689
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) can be used to create a decision-making agent for
autonomous driving. However, previous approaches provide only black-box
solutions, which do not offer information on how confident the agent is about
its decisions. An estimate of both the aleatoric and epistemic uncertainty of
the agent's decisions is fundamental for real-world applications of autonomous
driving. Therefore, this paper introduces the Ensemble Quantile Networks (EQN)
method, which combines distributional RL with an ensemble approach, to obtain a
complete uncertainty estimate. The distribution over returns is estimated by
learning its quantile function implicitly, which gives the aleatoric
uncertainty, whereas an ensemble of agents is trained on bootstrapped data to
provide a Bayesian estimation of the epistemic uncertainty. A criterion for
classifying which decisions that have an unacceptable uncertainty is also
introduced. The results show that the EQN method can balance risk and time
efficiency in different occluded intersection scenarios, by considering the
estimated aleatoric uncertainty. Furthermore, it is shown that the trained
agent can use the epistemic uncertainty information to identify situations that
the agent has not been trained for and thereby avoid making unfounded,
potentially dangerous, decisions outside of the training distribution.
- Abstract（参考訳）: 強化学習(RL)は、自律運転のための意思決定エージェントを作成するために用いられる。
しかし、従来のアプローチはブラックボックスソリューションのみを提供しており、エージェントがその決定に対する自信について情報を提供していない。
エージェントの判断の不確実性と認識的不確実性の両方の推定は、現実の自動運転の応用において基本的なものである。
そこで本研究では,分布RLとアンサンブルアプローチを組み合わせたEnsemble Quantile Networks (EQN) 手法を導入し,完全不確実性推定を行う。
帰納上の分布は、その分位関数を暗黙的に学習することで推定され、これはアレエータ的不確かさを与え、一方、エージェントのアンサンブルはブートストラップされたデータで訓練され、認識的不確かさのベイズ的推定を提供する。
許容できない不確実性を持つ決定を分類する基準も導入された。
その結果,EQN法は,推定アレタリック不確実性を考慮し,異なる閉塞交差点シナリオにおけるリスクと時間効率のバランスをとることができることがわかった。
さらに、トレーニングされたエージェントは、この認識の不確実性情報を用いて、エージェントがトレーニングされていない状況を特定し、トレーニング分布外の未確立で潜在的に危険な決定をすることを避けることができる。
関連論文リスト
- Explainability through uncertainty: Trustworthy decision-making with neural networks [1.104960878651584]
不確実性は、あらゆる機械学習モデルの主要な特徴である。
ニューラルネットワークでは特に重要であり、過信されがちである。
XAIとしての不確実性は、下流の意思決定タスクにおけるモデルの信頼性を改善する。
論文 参考訳（メタデータ） (2024-03-15T10:22:48Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳（メタデータ） (2023-08-03T12:43:21Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-11-22T08:54:10Z) - Enabling risk-aware Reinforcement Learning for medical interventions
through uncertainty decomposition [9.208828373290487]
複雑な制御と意思決定の問題に対処するためのツールとして強化学習(RL)が登場している。
エージェントが学習した明らかに最適なポリシーと、実際の展開の間のギャップを埋めることは、しばしば困難である。
本稿では,各不確実性のネット効果を分解して不確かさを再現するために,分布的アプローチ (UA-DQN) を再キャストする方法を提案する。
論文 参考訳（メタデータ） (2021-09-16T09:36:53Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳（メタデータ） (2021-05-28T09:23:05Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2021-02-16T23:50:35Z) - Reinforcement Learning with Uncertainty Estimation for Tactical
Decision-Making in Intersections [0.0]
本稿では,ベイズ強化学習法を用いて,自律運転のための戦術的意思決定エージェントを構築する方法について検討する。
追加のランダム化事前関数(RPF)を備えたニューラルネットワークのアンサンブルは、ブートストラップされたエクスペリエンス再生メモリを使用してトレーニングされる。
訓練されたアンサンブルRPFエージェントは、訓練分布から遠くない状況と、訓練分布内ではめったに発生しない状況の両方において、高い不確実性を有する症例を検出することができる。
論文 参考訳（メタデータ） (2020-06-17T11:29:26Z) - Tactical Decision-Making in Autonomous Driving by Reinforcement Learning
with Uncertainty Estimation [0.9883261192383611]
強化学習は、自律運転のための戦術的意思決定エージェントを作成するために使用できる。
本稿では,自動走行における意思決定の不確かさを推定するためにベイズRL手法をいかに活用するかを検討する。
論文 参考訳（メタデータ） (2020-04-22T08:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。