論文の概要: Incorporating Explicit Uncertainty Estimates into Deep Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2206.01085v1
• Date: Thu, 2 Jun 2022 15:10:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 15:01:44.930590
• Title: Incorporating Explicit Uncertainty Estimates into Deep Offline Reinforcement Learning
• Title（参考訳）: 深部オフライン強化学習への明示的不確かさ推定の導入
• Authors: David Brandfonbrener, Remi Tachet des Combes, Romain Laroche
• Abstract要約: 我々は、スケーラブルな不確実性推定をオフライン強化学習アルゴリズムであるDeep-SPIBBに組み込む新しい手法を開発した。 深部SPIBBは、同じ不確実性推定にアクセスして悲観的アプローチより優れていることを示す。
• 参考スコア（独自算出の注目度）: 23.975526785830144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most theoretically motivated work in the offline reinforcement learning setting requires precise uncertainty estimates. This requirement restricts the algorithms derived in that work to the tabular and linear settings where such estimates exist. In this work, we develop a novel method for incorporating scalable uncertainty estimates into an offline reinforcement learning algorithm called deep-SPIBB that extends the SPIBB family of algorithms to environments with larger state and action spaces. We use recent innovations in uncertainty estimation from the deep learning community to get more scalable uncertainty estimates to plug into deep-SPIBB. While these uncertainty estimates do not allow for the same theoretical guarantees as in the tabular case, we argue that the SPIBB mechanism for incorporating uncertainty is more robust and flexible than pessimistic approaches that incorporate the uncertainty as a value function penalty. We bear this out empirically, showing that deep-SPIBB outperforms pessimism based approaches with access to the same uncertainty estimates and performs at least on par with a variety of other strong baselines across several environments and datasets.
• Abstract（参考訳）: オフライン強化学習における理論上の最も動機付けられた作業は、正確な不確実性推定を必要とする。 この要件は、その仕事から導出されるアルゴリズムを、そのような推定が存在する表式および線形設定に制限する。 本研究では,spibbファミリをより大きな状態空間と動作空間に拡張した,オフライン強化学習アルゴリズムであるdeep-spibbに,スケーラブルな不確実性推定を組み込む新しい手法を提案する。 我々は、ディープラーニングコミュニティからの不確実性推定に最近のイノベーションを使用し、よりスケーラブルな不確実性推定を深SPIBBにプラグインする。 これらの不確実性の推定は表式の場合と同じ理論的保証を許さないが、不確実性を取り込むためのspibbメカニズムは、不確実性を値関数のペナルティとして取り入れる悲観的アプローチよりも堅牢で柔軟であると主張する。 我々はこれを実証的に捉え、ディープSPIBBが、同じ不確実性の推定値にアクセスして悲観主義に基づくアプローチを上回り、少なくとも複数の環境やデータセットにまたがる様々な強力なベースラインと同等に実行することを示す。

関連論文リスト

• A Comprehensive Survey on Evidential Deep Learning and Its Applications [64.83473301188138]
  Evidential Deep Learning (EDL)は、単一のフォワードパスで最小限の追加計算で信頼性の高い不確実性推定を提供する。 まず、主観的論理理論であるEDLの理論的基礎を掘り下げ、他の不確実性推定フレームワークとの区別について議論する。 さまざまな機械学習パラダイムや下流タスクにまたがる広範な応用について詳しく述べる。
  論文  参考訳（メタデータ） (2024-09-07T05:55:06Z)
• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• Echoes of Socratic Doubt: Embracing Uncertainty in Calibrated Evidential Reinforcement Learning [1.7898305876314982]
  提案アルゴリズムは,共形推論の原理に基づいて,深い明解学習と量子キャリブレーションを組み合わせる。 ミニチュア化されたアタリゲームスイート(MinAtar)でテストされる。
  論文  参考訳（メタデータ） (2024-02-11T05:17:56Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations [28.875819909902244]
  不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。 既存の不確実性推定アプローチは、低次元分布仮定に依存している。 本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-25T12:22:18Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Fast Uncertainty Estimates in Deep Learning Interatomic Potentials [0.0]
  本研究では,単一ニューラルネットワークを用いて,アンサンブルを必要とせずに予測不確実性を推定する手法を提案する。 本研究では,不確実性の推定値の品質が深層アンサンブルから得られた値と一致することを示す。
  論文  参考訳（メタデータ） (2022-11-17T20:13:39Z)
• On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks [11.929914721626849]
  我々は,現在最先端の不確実性推定アルゴリズムが,我々の提案した敵攻撃の下で破滅的に失敗する可能性を示唆した。 特に、領域外不確実性推定を攻撃することを目的としている。
  論文  参考訳（メタデータ） (2022-10-03T23:33:38Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving [77.39239190539871]
  自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。 相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。 本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
  論文  参考訳（メタデータ） (2021-05-28T09:23:05Z)
• The Benefit of the Doubt: Uncertainty Aware Sensing for Edge Computing Platforms [10.86298377998459]
  組込みエッジシステム上に展開されたNNにおける予測不確実性推定のための効率的なフレームワークを提案する。 フレームワークは1つのフォワードパスのみに基づいて予測の不確実性を提供するために、ゼロから構築されている。 提案手法は, 堅牢かつ正確な不確実性推定だけでなく, システム性能の点で最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-02-11T11:44:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。