論文の概要: Echoes of Socratic Doubt: Embracing Uncertainty in Calibrated Evidential Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2402.07107v2
• Date: Tue, 13 Feb 2024 05:14:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 12:07:12.136358
• Title: Echoes of Socratic Doubt: Embracing Uncertainty in Calibrated Evidential Reinforcement Learning
• Title（参考訳）: ソクラテス的疑念の反響--校正増補学習における不確実性を受け入れる
• Authors: Alex Christopher Stutts, Danilo Erricolo, Theja Tulabandhula, Amit Ranjan Trivedi
• Abstract要約: 提案アルゴリズムは,共形推論の原理に基づいて,深い明解学習と量子キャリブレーションを組み合わせる。 ミニチュア化されたアタリゲームスイート(MinAtar)でテストされる。
• 参考スコア（独自算出の注目度）: 1.9202125044890677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel statistical approach to incorporating uncertainty awareness in model-free distributional reinforcement learning involving quantile regression-based deep Q networks. The proposed algorithm, $\textit{Calibrated Evidential Quantile Regression in Deep Q Networks (CEQR-DQN)}$, aims to address key challenges associated with separately estimating aleatoric and epistemic uncertainty in stochastic environments. It combines deep evidential learning with quantile calibration based on principles of conformal inference to provide explicit, sample-free computations of $\textit{global}$ uncertainty as opposed to $\textit{local}$ estimates based on simple variance, overcoming limitations of traditional methods in computational and statistical efficiency and handling of out-of-distribution (OOD) observations. Tested on a suite of miniaturized Atari games (i.e., MinAtar), CEQR-DQN is shown to surpass similar existing frameworks in scores and learning speed. Its ability to rigorously evaluate uncertainty improves exploration strategies and can serve as a blueprint for other algorithms requiring uncertainty awareness.
• Abstract（参考訳）: 本稿では,量子回帰に基づく深部Qネットワークを含むモデル自由分布強化学習において,不確実性認識を取り入れた新しい統計手法を提案する。 提案手法である$\textit{calibrated obvious quantile regression in deep q networks (ceqr-dqn)}$は,確率的環境におけるアレテータ的・認識的不確かさを別々に推定することに関連する重要な課題に対処することを目的としている。 これは、単純な分散に基づく$\textit{local}$の見積もりとは対照的に、共形推論の原理に基づく量子量的校正と組み合わせて、$\textit{global}$の不確かさの明示的でサンプルフリーな計算を提供し、従来の方法の計算と統計の効率における限界を克服し、分散(ood)観測の処理を克服する。 小型のatariゲーム(つまりミナタル)でテストされたceqr-dqnは、スコアと学習速度で既存のフレームワークを上回っている。 不確実性を評価する能力は探索戦略を改善し、不確実性認識を必要とする他のアルゴリズムの青写真として機能する。

関連論文リスト

• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
  データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。 昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。 本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T20:37:55Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Estimation of Non-Crossing Quantile Regression Process with Deep ReQU Neural Networks [5.5272015676880795]
  本稿では,2次単位(ReQU)活性化深層ニューラルネットワークを用いた非分離モデルにおいて,QRP(quantile regression process)を推定するペナル化非パラメトリック手法を提案する。 推定されたQRPに対する非漸近的過剰リスク境界を確立し、軽度な滑らかさと規則性条件下で推定されたQRPに対する平均2乗誤差を導出する。
  論文  参考訳（メタデータ） (2022-07-21T12:26:45Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• $f$-Cal: Calibrated aleatoric uncertainty estimation from neural networks for robot perception [9.425514903472545]
  既存のアプローチでは、ネットワークアーキテクチャ、推論手順、損失関数を変更することで、ニューラルネットワークの知覚スタックから不確実性を推定する。 私たちの重要な洞察は、キャリブレーションはミニバッチのような複数の例に制約を課すことでのみ達成できるということです。 ニューラルネットワークの出力分布を、$f$-divergenceを最小にすることで、ターゲット分布に類似させることにより、従来のアプローチに比べてはるかに優れた校正モデルが得られる。
  論文  参考訳（メタデータ） (2021-09-28T17:57:58Z)
• Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
  本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。 我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。 実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
  論文  参考訳（メタデータ） (2021-05-25T14:35:46Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)
• On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation [27.077741143188867]
  本稿では,分類課題を表現学習と不確実性推定の2段階に分けたアルゴリズム群を提案する。 選択的分類(リスクカバレッジ)および分布外サンプルの検出能力の観点から,それらの性能を評価する。
  論文  参考訳（メタデータ） (2020-01-22T15:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。