論文の概要: Conservative Prediction via Data-Driven Confidence Minimization

• arxiv url: http://arxiv.org/abs/2306.04974v2
• Date: Mon, 3 Jun 2024 13:30:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 21:29:55.886307
• Title: Conservative Prediction via Data-Driven Confidence Minimization
• Title（参考訳）: データ駆動信頼最小化による保守的予測
• Authors: Caroline Choi, Fahim Tajwar, Yoonho Lee, Huaxiu Yao, Ananya Kumar, Chelsea Finn,
• Abstract要約: 機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 70.93946578046003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In safety-critical applications of machine learning, it is often desirable for a model to be conservative, abstaining from making predictions on unknown inputs which are not well-represented in the training data. However, detecting unknown examples is challenging, as it is impossible to anticipate all potential inputs at test time. To address this, prior work (Hendrycks et al., 2018) minimizes model confidence on an auxiliary outlier dataset carefully curated to be disjoint from the training distribution. We theoretically analyze the choice of auxiliary dataset for confidence minimization, revealing two actionable insights: (1) if the auxiliary set contains unknown examples similar to those seen at test time, confidence minimization leads to provable detection of unknown test examples, and (2) if the first condition is satisfied, it is unnecessary to filter out known examples for out-of-distribution (OOD) detection. Motivated by these guidelines, we propose the Data-Driven Confidence Minimization (DCM) framework, which minimizes confidence on an uncertainty dataset. We apply DCM to two problem settings in which conservative prediction is paramount -- selective classification and OOD detection -- and provide a realistic way to gather uncertainty data for each setting. In our experiments, DCM consistently outperforms existing selective classification approaches on 4 datasets when tested on unseen distributions and outperforms state-of-the-art OOD detection methods on 12 ID-OOD dataset pairs, reducing FPR (at TPR $95\%$) by $6.3\%$ and $58.1\%$ on CIFAR-10 and CIFAR-100 compared to Outlier Exposure.
• Abstract（参考訳）: 機械学習の安全性クリティカルな応用においては、トレーニングデータによく表現されていない未知の入力に対する予測を控え、保守的であることが望ましい場合が多い。 しかし、テスト時に全ての潜在的な入力を予測できないため、未知のサンプルを検出することは困難である。 これに対処するため、事前の作業(Hendrycks et al , 2018)は、トレーニング分布から切り離されるように慎重にキュレートされた補助アウトリアデータセットに対するモデルの信頼性を最小化する。 理論的には、信頼度最小化のための補助データセットの選択を解析し、(1)補助セットがテスト時間で見られるような未知の例を含む場合、信頼性最小化は未知のテスト例の証明可能な検出につながること、(2)第一条件が満たされた場合、アウト・オブ・ディストリビューション(OOD)検出の既知の例をフィルタリングする必要がないこと、の2つの実行可能な洞察を明らかにする。 これらのガイドラインにより、不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化(DCM)フレームワークを提案する。 予備的な予測が最重要である2つの問題(選択的分類とOOD検出)にDCMを適用し、各設定に対する不確実性データを収集する現実的な方法を提供する。 我々の実験では、DCMは、12のID-OODデータセットペアに対して、未確認分布でテストされた場合、既存の4つのデータセットに対する選択的分類手法を一貫して上回り、最先端のOOD検出手法を上回り、FPR(TPR 9,5\%$)を6.3\%、CIFAR-10およびCIFAR-100で5.1\%で削減する。

関連論文リスト

• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
  本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。 提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
  論文  参考訳（メタデータ） (2023-01-17T01:46:45Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Augmenting Softmax Information for Selective Classification with Out-of-Distribution Data [7.221206118679026]
  既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。 本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。 多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
  論文  参考訳（メタデータ） (2022-07-15T14:39:57Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Gradient-based Novelty Detection Boosted by Self-supervised Binary Classification [20.715158729811755]
  新規性検出は、アウト・オブ・ディストリビューション(OOD)データを自動的に識別することを目的としている。 我々は、事前に定義されたOODデータに依存しない、新しい自己教師型アプローチを提案する。 複数のデータセットによる評価では、提案手法は最先端の教師なし手法と教師なし手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-12-18T01:17:15Z)
• Detecting Errors and Estimating Accuracy on Unlabeled Data with Self-training Ensembles [38.23896575179384]
  本稿では,この2つの課題に同時に対処する,原則的かつ実用的な枠組みを提案する。 1つのインスタンス化は、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。 iWildCamでは、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
  論文  参考訳（メタデータ） (2021-06-29T21:32:51Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。