論文の概要: Locally Valid and Discriminative Confidence Intervals for Deep Learning Models

• arxiv url: http://arxiv.org/abs/2106.00225v1
• Date: Tue, 1 Jun 2021 04:39:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:31:09.916432
• Title: Locally Valid and Discriminative Confidence Intervals for Deep Learning Models
• Title（参考訳）: 深層学習モデルにおける局所的妥当性と識別的信頼区間
• Authors: Zhen Lin, Shubhendu Trivedi, Jimeng Sun
• Abstract要約: 不確実性情報は有効(保証対象)で差別的(予想されるリスクが高い場合にさらに不確実)でなければならない 既存のベイジアン法の多くは、頻繁なカバレッジ保証がなく、通常モデルのパフォーマンスに影響を与える。 ほぼどんな深層学習モデルに対しても,識別的信頼区間(CI)を構築するための簡易かつ効率的かつ軽量な手法であるLVD(Locally Valid and Discriminative confidence intervals)を提案する。
• 参考スコア（独自算出の注目度）: 37.57296694423751
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Crucial for building trust in deep learning models for critical real-world applications is efficient and theoretically sound uncertainty quantification, a task that continues to be challenging. Useful uncertainty information is expected to have two key properties: It should be valid (guaranteeing coverage) and discriminative (more uncertain when the expected risk is high). Moreover, when combined with deep learning (DL) methods, it should be scalable and affect the DL model performance minimally. Most existing Bayesian methods lack frequentist coverage guarantees and usually affect model performance. The few available frequentist methods are rarely discriminative and/or violate coverage guarantees due to unrealistic assumptions. Moreover, many methods are expensive or require substantial modifications to the base neural network. Building upon recent advances in conformal prediction and leveraging the classical idea of kernel regression, we propose Locally Valid and Discriminative confidence intervals (LVD), a simple, efficient and lightweight method to construct discriminative confidence intervals (CIs) for almost any DL model. With no assumptions on the data distribution, such CIs also offer finite-sample local coverage guarantees (contrasted to the simpler marginal coverage). Using a diverse set of datasets, we empirically verify that besides being the only locally valid method, LVD also exceeds or matches the performance (including coverage rate and prediction accuracy) of existing uncertainty quantification methods, while offering additional benefits in scalability and flexibility.
• Abstract（参考訳）: 重要な現実世界の応用のためのディープラーニングモデルの信頼を構築するための重要な課題は、効率的で理論的に不確実な定量化である。 有効な不確実性情報は2つの重要な特性を持つことが期待されている: 有効性(保証範囲)と差別性(予想されるリスクが高い場合にさらに不確実性)である。 さらに、ディープラーニング(DL)メソッドと組み合わせると、拡張性が高く、DLモデルの性能に最小限の影響が及ぶ。 既存のベイズ法の多くは、頻繁なカバレッジ保証がなく、通常はモデル性能に影響する。 利用可能な数少ない頻繁主義的手法は、非現実的仮定による範囲保証を差別的かつ/または違反することはほとんどない。 さらに、多くの手法は費用がかかるか、ベースとなるニューラルネットワークに大きな修正が必要となる。 近年のコンフォメーション予測の進歩とカーネル回帰の古典的考え方の活用に基づいて,ほぼ任意のDLモデルに対して識別信頼区間(CI)を構築するための簡易かつ効率的かつ軽量な手法である局所妥当性・識別信頼区間(LVD)を提案する。 データの分散に関する仮定がなければ、そのようなcisは有限サンプルのローカルカバレッジ保証も提供する(より単純な限界カバレッジに対応する)。 多様なデータセットを用いて、LVDは局所的に有効な唯一の方法であるだけでなく、既存の不確実性定量化手法のパフォーマンス(カバレッジ率と予測精度を含む)を上回るか、一致しているかを実証的に検証し、スケーラビリティと柔軟性のさらなる利点を提供する。

関連論文リスト

• SURE: SUrvey REcipes for building reliable and robust deep networks [12.268921703825258]
  本稿では,深層ニューラルネットワークにおける不確実性推定手法を再検討し,信頼性を高めるために一連の手法を統合する。 我々は,不確実性推定の有効性を示す重要なテストベッドである故障予測のベンチマークに対して,SUREを厳格に評価する。 データ破損、ラベルノイズ、長い尾のクラス分布といった現実世界の課題に適用した場合、SUREは顕著な堅牢性を示し、現在の最先端の特殊手法と同等あるいは同等な結果をもたらす。
  論文  参考訳（メタデータ） (2024-03-01T13:58:19Z)
• Empirically Validating Conformal Prediction on Modern Vision Architectures Under Distribution Shift and Long-tailed Data [18.19171031755595]
  コンフォーマル予測は、確実な不確実性推定と安全性保証を備えたディープラーニングモデルを提供するための厳密な手段として登場した。 そこで本研究では,分散シフトと長期クラス分布の下で,いくつかのポストホックおよびトレーニングに基づく共形予測手法の性能を特徴付ける。 多数のコンフォメーション手法やニューラルネットワークファミリにおいて,分散シフトによる性能低下が安全保証を侵害していることを示す。
  論文  参考訳（メタデータ） (2023-07-03T15:08:28Z)
• How Reliable is Your Regression Model's Uncertainty Under Real-World Distribution Shifts? [46.05502630457458]
  本研究では,異なるタイプの分散シフトを伴う8つの画像ベース回帰データセットのベンチマークを提案する。 分散シフトがない場合、メソッドは十分に校正されているが、ベンチマークデータセットの多くに非常に自信が持たれていることが分かっています。
  論文  参考訳（メタデータ） (2023-02-07T18:54:39Z)
• Quantifying Model Uncertainty for Semantic Segmentation using Operators in the RKHS [20.348825818435767]
  本稿では,セマンティックセグメンテーションモデルの高精度な予測不確実性定量化のためのフレームワークを提案する。 我々は、ヒルベルト空間(RKHS)を再現するカーネルにおけるモデルの特徴空間に関連する不確実性の多項関数定義を用いる。 これにより、従来のベイズ法よりもモデルの不確実性に対するはるかに正確な見方が導かれる。
  論文  参考訳（メタデータ） (2022-11-03T17:10:49Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。