論文の概要: Empirical Frequentist Coverage of Deep Learning Uncertainty Quantification Procedures

• arxiv url: http://arxiv.org/abs/2010.03039v2
• Date: Wed, 24 Feb 2021 20:54:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 07:51:11.875906
• Title: Empirical Frequentist Coverage of Deep Learning Uncertainty Quantification Procedures
• Title（参考訳）: 深層学習の不確実性定量化手順の経験的頻繁性
• Authors: Benjamin Kompa, Jasper Snoek, Andrew Beam
• Abstract要約: 本研究では,不確実性定量化手法の実証的頻繁性カバレッジ特性について,最初の大規模評価を行った。 一般に,いくつかの手法は分布サンプルにおいて望ましいカバレッジ特性を実現するが,分布外データではカバレッジが維持されない。
• 参考スコア（独自算出の注目度）: 13.890139530120164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification for complex deep learning models is increasingly important as these techniques see growing use in high-stakes, real-world settings. Currently, the quality of a model's uncertainty is evaluated using point-prediction metrics such as negative log-likelihood or the Brier score on heldout data. In this study, we provide the first large scale evaluation of the empirical frequentist coverage properties of well known uncertainty quantification techniques on a suite of regression and classification tasks. We find that, in general, some methods do achieve desirable coverage properties on in distribution samples, but that coverage is not maintained on out-of-distribution data. Our results demonstrate the failings of current uncertainty quantification techniques as dataset shift increases and establish coverage as an important metric in developing models for real-world applications.
• Abstract（参考訳）: 複雑なディープラーニングモデルに対する不確かさの定量化は、これらのテクニックがハイテイクで実世界の設定で使われるようになるにつれて、ますます重要になっている。 現在、負のログ類似度やホールドアウトデータにおけるブライアスコアなどのポイント予測指標を用いて、モデルの不確実性の品質を評価する。 本研究では,レグレッションと分類の一連のタスクにおいて,よく知られた不確実性定量化手法による経験的頻繁性カバレッジ特性を,初めて大規模に評価する。 一般に,いくつかの手法は分布サンプルにおいて望ましいカバレッジ特性を実現するが,分布外データではカバレッジが維持されない。 筆者らは,不確かさの定量化手法の失敗を実証し,データセットのシフトが増加し,実世界アプリケーションのためのモデル開発における重要な指標としてカバレッジを確立する。

関連論文リスト

• Non-Asymptotic Uncertainty Quantification in High-Dimensional Learning [5.318766629972959]
  不確かさの定量化は多くの高次元回帰や学習問題において決定的だが難しい課題である。 我々は、古典的回帰アプローチとニューラルネットワークの両方に適用可能な、回帰におけるUQのための新しいデータ駆動アプローチを開発した。
  論文  参考訳（メタデータ） (2024-07-18T16:42:10Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Estimating Uncertainty in Landslide Segmentation Models [7.537865319452023]
  地すべりは、繰り返し発生し、広範囲にわたる危険である。準備と緩和の努力は、世界規模でリスクの高い地域をカバーする高品質で大規模なデータセットによって助けられる。 近年,衛星画像からの地すべりセグメンテーションのためのディープラーニングモデルに焦点が当てられている。 高精度でロバストな不確実性推定は、自動生成した地すべりデータベースの低コストな監視を可能にし、エラーを解決し、厳しい負の例を特定し、ラベル付きトレーニングデータのサイズを増やすことができる。
  論文  参考訳（メタデータ） (2023-11-18T18:18:33Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Benchmarking common uncertainty estimation methods with histopathological images under domain shift and label noise [62.997667081978825]
  リスクの高い環境では、深層学習モデルは不確実性を判断し、誤分類の可能性がかなり高い場合に入力を拒否しなければなりません。 我々は,全スライド画像の分類において,最もよく使われている不確実性と頑健さの厳密な評価を行う。 我々は一般的に,手法のアンサンブルが,ドメインシフトやラベルノイズに対するロバスト性の向上とともに,より良い不確実性評価につながることを観察する。
  論文  参考訳（メタデータ） (2023-01-03T11:34:36Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection [0.0]
  本稿では, 実験結果について理論的に説明し, 合成データから考察する。 このような技術は、分類設定でOODサンプルを確実に識別できないことを証明します。
  論文  参考訳（メタデータ） (2020-12-09T21:35:55Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。