論文の概要: Distance Matters For Improving Performance Estimation Under Covariate Shift

• arxiv url: http://arxiv.org/abs/2308.07223v1
• Date: Mon, 14 Aug 2023 15:49:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 12:37:38.138636
• Title: Distance Matters For Improving Performance Estimation Under Covariate Shift
• Title（参考訳）: 共変量シフトによる性能評価改善のための距離問題
• Authors: M\'elanie Roschewitz and Ben Glocker
• Abstract要約: データセットのシフトの下では、サンプルがトレーニング分布から遠すぎると、信頼性スコアが低下する可能性がある。 実験結果から期待するトレーニング分布までの距離を考慮に入れれば,性能評価が大幅に向上することを示す。 本研究では, 自然分布と合成分布の広範にわたる13の画像分類課題に対する本手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 18.68533487971233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Performance estimation under covariate shift is a crucial component of safe AI model deployment, especially for sensitive use-cases. Recently, several solutions were proposed to tackle this problem, most leveraging model predictions or softmax confidence to derive accuracy estimates. However, under dataset shifts, confidence scores may become ill-calibrated if samples are too far from the training distribution. In this work, we show that taking into account distances of test samples to their expected training distribution can significantly improve performance estimation under covariate shift. Precisely, we introduce a "distance-check" to flag samples that lie too far from the expected distribution, to avoid relying on their untrustworthy model outputs in the accuracy estimation step. We demonstrate the effectiveness of this method on 13 image classification tasks, across a wide-range of natural and synthetic distribution shifts and hundreds of models, with a median relative MAE improvement of 27% over the best baseline across all tasks, and SOTA performance on 10 out of 13 tasks. Our code is publicly available at https://github.com/melanibe/distance_matters_performance_estimation.
• Abstract（参考訳）: covariateシフトによるパフォーマンス推定は、特に機密性の高いユースケースにおいて、安全なaiモデルのデプロイの重要なコンポーネントである。 近年,モデル予測やソフトマックスの信頼性を利用して精度推定を導出する手法が提案されている。 しかし、データセットのシフトの下では、サンプルがトレーニング分布から遠すぎると、信頼性スコアが低下する可能性がある。 そこで本研究では,テストサンプルと期待トレーニング分布の距離を考慮すれば,共変量シフト下での性能推定が著しく向上することを示す。 正確には、精度推定ステップにおいて、信頼できないモデル出力に依存するのを避けるため、期待される分布から遠すぎるサンプルをフラグする「距離チェック」を導入する。 本手法は, 画像分類タスクにおいて, 自然分布と合成分布の幅広いシフトと数百のモデルにおいて有効であり, 全タスクにおいて最良ベースラインに対して27%, 13タスク中10タスクにおいてSOTA性能が27%向上した。 私たちのコードはhttps://github.com/melanibe/distance_matters_ performance_estimationで公開されています。

関連論文リスト

• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Characterizing Out-of-Distribution Error via Optimal Transport [15.284665509194134]
  ラベルなしでOODデータ上でモデルの性能を予測する方法は、機械学習の安全性にとって重要である。 最適輸送理論を利用してモデル性能を推定する新しい手法を提案する。 提案手法は既存の最先端手法よりも最大3倍低い予測誤差で大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-25T01:37:13Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Predicting Out-of-Distribution Error with Confidence Optimal Transport [17.564313038169434]
  そこで本研究では,未知の分布におけるモデルの性能を付加アノテーションなしで予測する簡易かつ効果的な手法を提案する。 提案手法である信頼度最適輸送(COT)は,対象領域におけるモデルの性能を頑健に推定する。 その単純さにもかかわらず,提案手法は3つのベンチマークデータセットに対して最先端の結果を達成し,既存の手法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2023-02-10T02:27:13Z)
• Labeling-Free Comparison Testing of Deep Learning Models [28.47632100019289]
  本研究では,ラベリング作業の限界を克服し,ランダム性をサンプリングするためのラベリングフリー比較試験手法を提案する。 提案手法は,データセットや分布シフトに関わらず,Spearmanの相関値とKendallの$tau$に対して,最大0.74および0.53のベースライン手法より優れている。
  論文  参考訳（メタデータ） (2022-04-08T10:55:45Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。