論文の概要: Performance Prediction Under Dataset Shift

• arxiv url: http://arxiv.org/abs/2206.10697v1
• Date: Tue, 21 Jun 2022 19:40:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 15:30:56.497613
• Title: Performance Prediction Under Dataset Shift
• Title（参考訳）: データセットシフトによる性能予測
• Authors: Simona Maggio, Victor Bouvier and L\'eo Dreyfus-Schmidt
• Abstract要約: 生成した合成摂動を学習し,様々な性能予測モデルの新たな領域への一般化能力について検討する。 本稿では,性能予測器の信頼性を保証するために,予測精度の自然な不確実性評価を提案する。
• 参考スコア（独自算出の注目度）: 1.1602089225841632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ML models deployed in production often have to face unknown domain changes, fundamentally different from their training settings. Performance prediction models carry out the crucial task of measuring the impact of these changes on model performance. We study the generalization capabilities of various performance prediction models to new domains by learning on generated synthetic perturbations. Empirical validation on a benchmark of ten tabular datasets shows that models based upon state-of-the-art shift detection metrics are not expressive enough to generalize to unseen domains, while Error Predictors bring a consistent improvement in performance prediction under shift. We additionally propose a natural and effortless uncertainty estimation of the predicted accuracy that ensures reliable use of performance predictors. Our implementation is available at https: //github.com/dataiku-research/performance_prediction_under_shift.
• Abstract（参考訳）: 実運用にデプロイされるMLモデルは、トレーニング設定と根本的に異なる、未知のドメイン変更に直面することが多い。 性能予測モデルは、これらの変化がモデルの性能に与える影響を測定する重要なタスクを実行する。 生成した合成摂動を学習し,様々な性能予測モデルの新たな領域への一般化能力について検討する。 10の表付きデータセットのベンチマークに対する実証的な検証は、最先端のシフト検出メトリクスに基づくモデルでは、目に見えないドメインに一般化するのに十分な表現力がないことを示している。 さらに,性能予測器の信頼性を確保するため,予測精度の自然な不確実性推定手法を提案する。 実装はhttpsで利用可能です。 //github.com/dataiku-research/performance_prediction_under_shift。

関連論文リスト

• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Estimating Model Performance Under Covariate Shift Without Labels [9.804680621164168]
  ラベルなしデータの分類モデルを評価するために,確率的適応性能推定(PAPE)を導入する。 PAPEは他の評価手法よりも正確な性能推定を提供する。
  論文  参考訳（メタデータ） (2024-01-16T13:29:30Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• A prediction and behavioural analysis of machine learning methods for modelling travel mode choice [0.26249027950824505]
  我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。 その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。 MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
  論文  参考訳（メタデータ） (2023-01-11T11:10:32Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Closer Look at the Uncertainty Estimation in Semantic Segmentation under Distributional Shift [2.05617385614792]
  セマンティックセグメンテーションのタスクの不確かさをドメインシフトの異なるレベルで評価する。 単純な色変換は、既に強いベースラインを提供していることが示されている。 モデルのアンサンブルは、擬似ラベル生成を改善するために自己学習設定に利用された。
  論文  参考訳（メタデータ） (2021-05-31T19:50:43Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)
• Learning Prediction Intervals for Model Performance [1.433758865948252]
  モデル性能の予測間隔を計算する手法を提案する。 我々は,幅広いドリフト条件におけるアプローチを評価し,競合ベースラインよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2020-12-15T21:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。