論文の概要: Conservative Prediction via Data-Driven Confidence Minimization
- arxiv url: http://arxiv.org/abs/2306.04974v1
- Date: Thu, 8 Jun 2023 07:05:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 15:52:37.213253
- Title: Conservative Prediction via Data-Driven Confidence Minimization
- Title（参考訳）: データ駆動信頼最小化による保守的予測
- Authors: Caroline Choi and Fahim Tajwar and Yoonho Lee and Huaxiu Yao and
Ananya Kumar and Chelsea Finn
- Abstract要約: 機械学習モデルのエラーは、特に医療のような安全クリティカルな領域では、コストがかかる。
本稿では、不確実性データセットに対する信頼性を最小化するデータ駆動型信頼性最小化(DCM)を提案する。
実験の結果、DCMは8つのID-OODデータセットペアに対して、最先端のOOD検出方法よりも一貫して優れていることがわかった。
- 参考スコア（独自算出の注目度）: 66.35245313125934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Errors of machine learning models are costly, especially in safety-critical
domains such as healthcare, where such mistakes can prevent the deployment of
machine learning altogether. In these settings, conservative models -- models
which can defer to human judgment when they are likely to make an error -- may
offer a solution. However, detecting unusual or difficult examples is notably
challenging, as it is impossible to anticipate all potential inputs at test
time. To address this issue, prior work has proposed to minimize the model's
confidence on an auxiliary pseudo-OOD dataset. We theoretically analyze the
effect of confidence minimization and show that the choice of auxiliary dataset
is critical. Specifically, if the auxiliary dataset includes samples from the
OOD region of interest, confidence minimization provably separates ID and OOD
inputs by predictive confidence. Taking inspiration from this result, we
present data-driven confidence minimization (DCM), which minimizes confidence
on an uncertainty dataset containing examples that the model is likely to
misclassify at test time. Our experiments show that DCM consistently
outperforms state-of-the-art OOD detection methods on 8 ID-OOD dataset pairs,
reducing FPR (at TPR 95%) by 6.3% and 58.1% on CIFAR-10 and CIFAR-100, and
outperforms existing selective classification approaches on 4 datasets in
conditions of distribution shift.
- Abstract（参考訳）: 機械学習モデルのエラーは、特に医療などの安全クリティカルな領域において、コストがかかる。
これらの設定では、保守的なモデル -- エラーを起こしそうな場合に人間の判断を推論できるモデル -- が解決策を提供する可能性がある。
しかし、テスト時にすべての潜在的な入力を予測できないため、異常または難しい例を検出することは特に難しい。
この問題に対処するために、補助的な疑似oodデータセットに対するモデルの信頼性を最小化するための先行研究が提案されている。
理論上,信頼度最小化の効果を解析し,補助データセットの選択が重要であることを示した。
特に、補助データセットにOOD領域のサンプルが含まれている場合、信頼度最小化は予測信頼度によりIDとOOD入力を確実に分離する。
この結果から着想を得て,データ駆動信頼度最小化(data-driven confidence minimization, dcm)を提案する。
CIFAR-10とCIFAR-100では、DCMは8つのID-OODデータセット対における最先端OOD検出法を一貫して上回り、FPR(TPR 95%)を6.3%減らし、58.1%減らし、分布シフトの条件下では既存の4つのデータセットに対する選択的分類手法よりも優れていた。
関連論文リスト
- Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。
提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
論文 参考訳（メタデータ） (2023-01-17T01:46:45Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳（メタデータ） (2022-07-15T14:39:57Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Gradient-based Novelty Detection Boosted by Self-supervised Binary
Classification [20.715158729811755]
新規性検出は、アウト・オブ・ディストリビューション(OOD)データを自動的に識別することを目的としている。
我々は、事前に定義されたOODデータに依存しない、新しい自己教師型アプローチを提案する。
複数のデータセットによる評価では、提案手法は最先端の教師なし手法と教師なし手法を一貫して上回っている。
論文 参考訳（メタデータ） (2021-12-18T01:17:15Z) - Detecting Errors and Estimating Accuracy on Unlabeled Data with
Self-training Ensembles [38.23896575179384]
本稿では,この2つの課題に同時に対処する,原則的かつ実用的な枠組みを提案する。
1つのインスタンス化は、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
iWildCamでは、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
論文 参考訳（メタデータ） (2021-06-29T21:32:51Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。