論文の概要: Uncertainty-Based Out-of-Distribution Classification in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2001.00496v1
• Date: Tue, 31 Dec 2019 09:52:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 20:05:32.202483
• Title: Uncertainty-Based Out-of-Distribution Classification in Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習における不確実性に基づく分布外分類
• Authors: Andreas Sedlmeier, Thomas Gabor, Thomy Phan, Lenz Belzner, Claudia Linnhoff-Popien
• Abstract要約: アウト・オブ・ディストリビューションデータの誤予測は、機械学習システムにおける安全性の危機的状況を引き起こす可能性がある。 我々は不確実性に基づくOOD分類のためのフレームワークUBOODを提案する。 UBOODはアンサンブルに基づく推定器と組み合わせることで,信頼性の高い分類結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 17.10036674236381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness to out-of-distribution (OOD) data is an important goal in building reliable machine learning systems. Especially in autonomous systems, wrong predictions for OOD inputs can cause safety critical situations. As a first step towards a solution, we consider the problem of detecting such data in a value-based deep reinforcement learning (RL) setting. Modelling this problem as a one-class classification problem, we propose a framework for uncertainty-based OOD classification: UBOOD. It is based on the effect that an agent's epistemic uncertainty is reduced for situations encountered during training (in-distribution), and thus lower than for unencountered (OOD) situations. Being agnostic towards the approach used for estimating epistemic uncertainty, combinations with different uncertainty estimation methods, e.g. approximate Bayesian inference methods or ensembling techniques are possible. We further present a first viable solution for calculating a dynamic classification threshold, based on the uncertainty distribution of the training data. Evaluation shows that the framework produces reliable classification results when combined with ensemble-based estimators, while the combination with concrete dropout-based estimators fails to reliably detect OOD situations. In summary, UBOOD presents a viable approach for OOD classification in deep RL settings by leveraging the epistemic uncertainty of the agent's value function.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)データに対するロバストさは、信頼できる機械学習システムを構築する上で重要な目標である。 特に自律システムでは、OOD入力の誤った予測が安全上の問題を引き起こす可能性がある。 解への第一歩として、値ベース深部強化学習(RL)設定でそのようなデータを検出する問題を考える。 この問題を一級分類問題としてモデル化し,不確実性に基づくood分類の枠組みであるuboodを提案する。 これは、トレーニング中に遭遇した状況(配信中)において、エージェントの疫学的不確実性が減少し、その結果、未報告(OOD)の状況よりも低い効果に基づいている。 認識的不確実性の推定に使用されるアプローチに無知であることから、近似ベイズ推定法やセンシング法のような異なる不確実性推定法との組み合わせが可能である。 さらに、トレーニングデータの不確実性分布に基づいて、動的分類しきい値を計算するための最初の実行可能なソリューションを提案する。 評価の結果,本フレームワークはアンサンブルに基づく推定器と組み合わせて信頼性の高い分類結果を生成する一方で,コンクリートドロップアウトに基づく推定器と組み合わせてもOODの状況を確実に検出できないことがわかった。 要約すると、UBOODは、エージェントの値関数の疫学的不確実性を活用することにより、深いRL設定におけるOOD分類のための実行可能なアプローチを示す。

関連論文リスト

• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations [28.875819909902244]
  不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。 既存の不確実性推定アプローチは、低次元分布仮定に依存している。 本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-25T12:22:18Z)
• Large Class Separation is not what you need for Relational Reasoning-based OOD Detection [12.578844450586]
  Out-Of-Distribution (OOD) 検出法はセマンティックノベルティを識別して解を提供する。 これらの手法の多くは、既知のデータの学習段階を利用しており、これは正規性の概念を捉えるためのモデル(または微調整)を訓練することを意味する。 実行可能な代替手段は、大きな事前訓練されたモデルによって生成された埋め込み空間の類似性を評価することであり、それ以上の学習は行わない。
  論文  参考訳（メタデータ） (2023-07-12T14:10:15Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Improving Out-of-Distribution Detection via Epistemic Uncertainty Adversarial Training [29.4569172720654]
  我々は,ドロップアウトアンサンブルによって予測される不確実性の攻撃を組み込んだ,単純な対向訓練手法を開発した。 本手法は,OOD検出性能を標準データ上で向上させる(逆向きではない)とともに,ほぼランダムな推定性能から$geq 0.75$まで,標準化された部分AUCを改善する。
  論文  参考訳（メタデータ） (2022-09-05T14:32:19Z)
• An Uncertainty-Informed Framework for Trustworthy Fault Diagnosis in Safety-Critical Applications [1.988145627448243]
  深層学習に基づく予後・健康管理(PHM)の信頼性の低さは、安全に重要な資産におけるその適用を妨げる。 本稿では,障害の診断とOODデータセット検出のための不確実性インフォームドフレームワークを提案する。 提案手法は, 安全クリティカルなアプリケーションにおいて, 未知に対処し, 故障診断の信頼性を高める上で特に有利であることを示す。
  論文  参考訳（メタデータ） (2021-10-08T21:24:14Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection [0.0]
  本稿では, 実験結果について理論的に説明し, 合成データから考察する。 このような技術は、分類設定でOODサンプルを確実に識別できないことを証明します。
  論文  参考訳（メタデータ） (2020-12-09T21:35:55Z)
• Certifiably Adversarially Robust Detection of Out-of-Distribution Data [111.67388500330273]
  我々は,OOD点における信頼度を低くすることで,OOD検出の証明可能な最悪のケースを保証することを目的としている。 トレーニング時に見られるOODデータセットを超えて一般化されたOODデータの信頼性の非自明な境界が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-16T17:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。