論文の概要: A unified uncertainty-aware exploration: Combining epistemic and aleatory uncertainty

• arxiv url: http://arxiv.org/abs/2401.02914v1
• Date: Fri, 5 Jan 2024 17:39:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 14:24:55.664468
• Title: A unified uncertainty-aware exploration: Combining epistemic and aleatory uncertainty
• Title（参考訳）: 統一的不確実性認識探索 : てんかんとてんかんの併用
• Authors: Parvin Malekzadeh, Ming Hou, Konstantinos N. Plataniotis
• Abstract要約: そこで本稿では, リスク感応探索における浮腫性およびてんかん性不確実性の複合効果を定量的に評価するアルゴリズムを提案する。 本手法は,パラメータ化された回帰分布を推定する分布RLの新たな拡張の上に構築する。 探索課題とリスク課題を伴う課題に対する実験結果から,本手法が代替手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 21.139502047972684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploration is a significant challenge in practical reinforcement learning (RL), and uncertainty-aware exploration that incorporates the quantification of epistemic and aleatory uncertainty has been recognized as an effective exploration strategy. However, capturing the combined effect of aleatory and epistemic uncertainty for decision-making is difficult. Existing works estimate aleatory and epistemic uncertainty separately and consider the composite uncertainty as an additive combination of the two. Nevertheless, the additive formulation leads to excessive risk-taking behavior, causing instability. In this paper, we propose an algorithm that clarifies the theoretical connection between aleatory and epistemic uncertainty, unifies aleatory and epistemic uncertainty estimation, and quantifies the combined effect of both uncertainties for a risk-sensitive exploration. Our method builds on a novel extension of distributional RL that estimates a parameterized return distribution whose parameters are random variables encoding epistemic uncertainty. Experimental results on tasks with exploration and risk challenges show that our method outperforms alternative approaches.
• Abstract（参考訳）: 探索は実践的強化学習 (RL) において重要な課題であり, てんかんの定量化を取り入れた不確実性を考慮した探索が有効な探索戦略として認識されている。 しかし, 気道およびてんかんの併用による意思決定効果の把握は困難である。 既存の研究では, それぞれ別々に気道およびてんかんの不確かさを推定し, 複合不確かさを両者の付加的な組み合わせと考える。 それにもかかわらず、添加剤は過剰なリスクテイク行動を引き起こし、不安定を引き起こす。 本稿では,両不確実性の理論的関係を解明し,不確実性推定と認識的不確実性推定を統一し,リスクに敏感な探索のための両不確実性の組み合わせ効果を定量化するアルゴリズムを提案する。 本手法は, エピステマ性不確かさをコードするパラメータがランダム変数であるパラメータ化された回帰分布を推定する分布RLの新たな拡張に基づく。 探索とリスク課題を伴う課題に関する実験結果から,本手法が代替手法よりも優れていることが示された。

関連論文リスト

• Predictive Uncertainty Quantification via Risk Decompositions for Strictly Proper Scoring Rules [7.0549244915538765]
  予測モデリングの不確かさは、しばしばアドホック法に依存する。 本稿では,統計的リスクを通じて不確実性を理解するための理論的アプローチを紹介する。 我々は、ポイントワイズリスクをベイズリスクと過剰リスクに分割する方法を示す。
  論文  参考訳（メタデータ） (2024-02-16T14:40:22Z)
• Is Epistemic Uncertainty Faithfully Represented by Evidential Deep Learning Methods? [26.344949402398917]
  本稿では,顕在的深層学習の新たな理論的考察について述べる。 これは二階損失関数の最適化の難しさを強調している。 第二次損失最小化における識別可能性と収束性の問題に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-14T10:07:05Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Evidential uncertainty sampling for active learning [4.271684331748043]
  アクティブラーニングにおける最近の研究は、モデル不確実性を再現可能で既約の不確実性に分解することに焦点を当てている。 本稿では,観測への依存を排除しつつ,計算過程を簡素化することを目的とする。
  論文  参考訳（メタデータ） (2023-09-21T21:26:50Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement [7.6146285961466]
  本稿では,不整合不整合を生成する手法を一般化し,不整合不整合の定量化を行う。 本研究は,学習失語症とてんかん不確実性との間に相互作用があることを示し,失語症不確実性に対する仮定に違反していることを示す。 我々の定式化と結果は、実践者や研究者が不確実性を選択するのに役立ち、不確実性の利用を拡大するのに役立つと期待する。
  論文  参考訳（メタデータ） (2022-04-20T08:41:37Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Enabling risk-aware Reinforcement Learning for medical interventions through uncertainty decomposition [9.208828373290487]
  複雑な制御と意思決定の問題に対処するためのツールとして強化学習(RL)が登場している。 エージェントが学習した明らかに最適なポリシーと、実際の展開の間のギャップを埋めることは、しばしば困難である。 本稿では,各不確実性のネット効果を分解して不確かさを再現するために,分布的アプローチ (UA-DQN) を再キャストする方法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T09:36:53Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Temporal Difference Uncertainties as a Signal for Exploration [76.6341354269013]
  強化学習における探索の効果的なアプローチは、最適な政策に対するエージェントの不確実性に依存することである。 本稿では,評価値のバイアスや時間的に矛盾する点を強調した。 本稿では,時間差誤差の分布の導出に依存する値関数の不確かさを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T18:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。