論文の概要: Conservative Prediction via Data-Driven Confidence Minimization
- arxiv url: http://arxiv.org/abs/2306.04974v1
- Date: Thu, 8 Jun 2023 07:05:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 15:52:37.213253
- Title: Conservative Prediction via Data-Driven Confidence Minimization
- Title(参考訳): データ駆動信頼最小化による保守的予測
- Authors: Caroline Choi and Fahim Tajwar and Yoonho Lee and Huaxiu Yao and
Ananya Kumar and Chelsea Finn
- Abstract要約: 機械学習モデルのエラーは、特に医療のような安全クリティカルな領域では、コストがかかる。
本稿では、不確実性データセットに対する信頼性を最小化するデータ駆動型信頼性最小化(DCM)を提案する。
実験の結果、DCMは8つのID-OODデータセットペアに対して、最先端のOOD検出方法よりも一貫して優れていることがわかった。
- 参考スコア(独自算出の注目度): 66.35245313125934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Errors of machine learning models are costly, especially in safety-critical
domains such as healthcare, where such mistakes can prevent the deployment of
machine learning altogether. In these settings, conservative models -- models
which can defer to human judgment when they are likely to make an error -- may
offer a solution. However, detecting unusual or difficult examples is notably
challenging, as it is impossible to anticipate all potential inputs at test
time. To address this issue, prior work has proposed to minimize the model's
confidence on an auxiliary pseudo-OOD dataset. We theoretically analyze the
effect of confidence minimization and show that the choice of auxiliary dataset
is critical. Specifically, if the auxiliary dataset includes samples from the
OOD region of interest, confidence minimization provably separates ID and OOD
inputs by predictive confidence. Taking inspiration from this result, we
present data-driven confidence minimization (DCM), which minimizes confidence
on an uncertainty dataset containing examples that the model is likely to
misclassify at test time. Our experiments show that DCM consistently
outperforms state-of-the-art OOD detection methods on 8 ID-OOD dataset pairs,
reducing FPR (at TPR 95%) by 6.3% and 58.1% on CIFAR-10 and CIFAR-100, and
outperforms existing selective classification approaches on 4 datasets in
conditions of distribution shift.
- Abstract(参考訳): 機械学習モデルのエラーは、特に医療などの安全クリティカルな領域において、コストがかかる。
これらの設定では、保守的なモデル -- エラーを起こしそうな場合に人間の判断を推論できるモデル -- が解決策を提供する可能性がある。
しかし、テスト時にすべての潜在的な入力を予測できないため、異常または難しい例を検出することは特に難しい。
この問題に対処するために、補助的な疑似oodデータセットに対するモデルの信頼性を最小化するための先行研究が提案されている。
理論上,信頼度最小化の効果を解析し,補助データセットの選択が重要であることを示した。
特に、補助データセットにOOD領域のサンプルが含まれている場合、信頼度最小化は予測信頼度によりIDとOOD入力を確実に分離する。
この結果から着想を得て,データ駆動信頼度最小化(data-driven confidence minimization, dcm)を提案する。
CIFAR-10とCIFAR-100では、DCMは8つのID-OODデータセット対における最先端OOD検出法を一貫して上回り、FPR(TPR 95%)を6.3%減らし、58.1%減らし、分布シフトの条件下では既存の4つのデータセットに対する選択的分類手法よりも優れていた。
関連論文リスト
- Out-of-distribution Object Detection through Bayesian Uncertainty
Estimation [10.985423935142832]
OOD検出のための新しい,直感的で,スケーラブルなオブジェクト検出手法を提案する。
提案手法は,提案したガウス分布からの重みパラメータサンプリングにより,IDデータとOODデータを識別することができる。
BDD100kおよびVOCデータセットでトレーニングした場合,FPR95スコアを最大8.19%削減し,AUROCスコアを最大13.94%向上させることで,ベイズ対象検出器のOOD識別性能が良好であることを実証した。
論文 参考訳(メタデータ) (2023-10-29T19:10:52Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳(メタデータ) (2023-03-24T13:49:05Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Robust Out-of-Distribution Detection on Deep Probabilistic Generative
Models [0.06372261626436676]
アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。
深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。
本稿では,外周露光を伴わない新しい検出指標を提案する。
論文 参考訳(メタデータ) (2021-06-15T06:36:10Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Detecting Out-of-distribution Samples via Variational Auto-encoder with
Reliable Uncertainty Estimation [5.430048915427229]
変分オートエンコーダ(VAE)は、豊かな表現能力を持つ影響のある生成モデルである。
VAEモデルは、アウト・オブ・ディストリビューション(OOD)インプットに対して、イン・ディストリビューション(ID)インプットよりも高い確率を割り当てる弱点がある。
本研究では,INCPVAEと呼ばれるVAEのエンコーダに統合可能な改良型ノイズコントラッシブ先行(INCP)を提案する。
論文 参考訳(メタデータ) (2020-07-16T06:02:18Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。