論文の概要: Estimating Model Performance under Domain Shifts with Class-Specific
Confidence Scores
- arxiv url: http://arxiv.org/abs/2207.09957v1
- Date: Wed, 20 Jul 2022 15:04:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-21 12:56:46.142364
- Title: Estimating Model Performance under Domain Shifts with Class-Specific
Confidence Scores
- Title（参考訳）: クラス依存スコアを用いたドメインシフト時のモデル性能の推定
- Authors: Zeju Li and Konstantinos Kamnitsas and Mobarakol Islam and Chen Chen
and Ben Glocker
- Abstract要約: 不均衡なデータセットのパフォーマンス推定の枠組みの中で,クラスワイドキャリブレーションを導入する。
我々は、4つのタスクの実験を行い、提案した修正により、不均衡なデータセットの推定精度を一貫して改善する。
- 参考スコア（独自算出の注目度）: 25.162667593654206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models are typically deployed in a test setting that differs
from the training setting, potentially leading to decreased model performance
because of domain shift. If we could estimate the performance that a
pre-trained model would achieve on data from a specific deployment setting, for
example a certain clinic, we could judge whether the model could safely be
deployed or if its performance degrades unacceptably on the specific data.
Existing approaches estimate this based on the confidence of predictions made
on unlabeled test data from the deployment's domain. We find existing methods
struggle with data that present class imbalance, because the methods used to
calibrate confidence do not account for bias induced by class imbalance,
consequently failing to estimate class-wise accuracy. Here, we introduce
class-wise calibration within the framework of performance estimation for
imbalanced datasets. Specifically, we derive class-specific modifications of
state-of-the-art confidence-based model evaluation methods including
temperature scaling (TS), difference of confidences (DoC), and average
thresholded confidence (ATC). We also extend the methods to estimate Dice
similarity coefficient (DSC) in image segmentation. We conduct experiments on
four tasks and find the proposed modifications consistently improve the
estimation accuracy for imbalanced datasets. Our methods improve accuracy
estimation by 18\% in classification under natural domain shifts, and double
the estimation accuracy on segmentation tasks, when compared with prior
methods.
- Abstract（参考訳）: マシンラーニングモデルは通常、トレーニング設定と異なるテスト設定にデプロイされるため、ドメインの変更によってモデルパフォーマンスが低下する可能性がある。
トレーニング済みのモデルが特定のデプロイメント設定のデータ、例えば特定のクリニックのデータに基づいて達成されるパフォーマンスを推定できれば、モデルが安全にデプロイ可能かどうか、あるいはそのパフォーマンスが特定のデータで許容不可能に低下するかを判断できる。
既存のアプローチでは、デプロイメントのドメインからラベルなしのテストデータに対する予測の信頼性に基づいてこれを見積もっている。
信頼度を校正するための手法は,クラス不均衡に起因するバイアスを考慮せず,結果としてクラス単位での正確さを推定できないため,既存の手法ではクラス不均衡データに苦しむことが判明した。
本稿では,不均衡データセットの性能推定の枠組みにおいて,クラス毎の校正を導入する。
具体的には、温度スケーリング(TS)、信頼度差(DoC)、平均閾値信頼度(ATC)など、最先端の信頼度に基づくモデル評価手法のクラス固有の変更を導出する。
また,画像分割におけるDice類似度係数(DSC)を推定する手法も拡張した。
4つの課題について実験を行い,不均衡データセットの推定精度を一貫して向上させる。
本手法は,従来の手法と比較して,自然領域シフト下での分類精度を18\%向上させ,セグメンテーションタスクにおける推定精度を2倍にする。
関連論文リスト
- Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。
オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。
提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
論文 参考訳（メタデータ） (2024-08-05T03:18:58Z) - Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳（メタデータ） (2024-02-14T14:35:57Z) - On the Calibration of Uncertainty Estimation in LiDAR-based Semantic
Segmentation [7.100396757261104]
本稿では,個々のクラスに対するセグメンテーションモデルの信頼性校正品質を測定する指標を提案する。
また,手書きまたは自動注釈付きデータセットの品質向上のためにラベル問題を自動的に検出する手法の二重利用を提案する。
論文 参考訳（メタデータ） (2023-08-04T10:59:24Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳（メタデータ） (2022-02-08T02:59:12Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。
分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。
具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文 参考訳（メタデータ） (2021-07-07T15:50:18Z) - Closer Look at the Uncertainty Estimation in Semantic Segmentation under
Distributional Shift [2.05617385614792]
セマンティックセグメンテーションのタスクの不確かさをドメインシフトの異なるレベルで評価する。
単純な色変換は、既に強いベースラインを提供していることが示されている。
モデルのアンサンブルは、擬似ラベル生成を改善するために自己学習設定に利用された。
論文 参考訳（メタデータ） (2021-05-31T19:50:43Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳（メタデータ） (2020-08-10T17:09:16Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。