論文の概要: How Reliable is Your Regression Model's Uncertainty Under Real-World Distribution Shifts?

• arxiv url: http://arxiv.org/abs/2302.03679v2
• Date: Tue, 7 Nov 2023 09:21:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 19:56:14.115458
• Title: How Reliable is Your Regression Model's Uncertainty Under Real-World Distribution Shifts?
• Title（参考訳）: 実世界の分布シフト下での回帰モデルの不確実性はどの程度信頼できるのか?
• Authors: Fredrik K. Gustafsson, Martin Danelljan, Thomas B. Sch\"on
• Abstract要約: 本研究では,異なるタイプの分散シフトを伴う8つの画像ベース回帰データセットのベンチマークを提案する。 分散シフトがない場合、メソッドは十分に校正されているが、ベンチマークデータセットの多くに非常に自信が持たれていることが分かっています。
• 参考スコア（独自算出の注目度）: 46.05502630457458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many important computer vision applications are naturally formulated as regression problems. Within medical imaging, accurate regression models have the potential to automate various tasks, helping to lower costs and improve patient outcomes. Such safety-critical deployment does however require reliable estimation of model uncertainty, also under the wide variety of distribution shifts that might be encountered in practice. Motivated by this, we set out to investigate the reliability of regression uncertainty estimation methods under various real-world distribution shifts. To that end, we propose an extensive benchmark of 8 image-based regression datasets with different types of challenging distribution shifts. We then employ our benchmark to evaluate many of the most common uncertainty estimation methods, as well as two state-of-the-art uncertainty scores from the task of out-of-distribution detection. We find that while methods are well calibrated when there is no distribution shift, they all become highly overconfident on many of the benchmark datasets. This uncovers important limitations of current uncertainty estimation methods, and the proposed benchmark therefore serves as a challenge to the research community. We hope that our benchmark will spur more work on how to develop truly reliable regression uncertainty estimation methods. Code is available at https://github.com/fregu856/regression_uncertainty.
• Abstract（参考訳）: 多くの重要なコンピュータビジョンアプリケーションは回帰問題として自然に定式化されている。 医療画像内では、正確な回帰モデルは様々なタスクを自動化し、コストを下げ、患者の結果を改善する可能性がある。 しかし、このような安全クリティカルなデプロイメントでは、モデルの不確かさの信頼性の高い推定が必要となる。 そこで本研究では,実世界の分布変化を考慮した回帰不確かさ推定手法の信頼性について検討する。 そこで本研究では,分散シフトの異なる8種類の画像ベース回帰データセットの広範なベンチマークを提案する。 次に,本ベンチマークを用いて不確実性推定法を多数評価し,分散検出の課題から2つの不確実性評価結果を得た。 分散シフトがない場合、メソッドは十分に校正されているが、ベンチマークデータセットの多くに非常に自信が持たれる。 これにより、現在の不確実性推定手法の重要な限界が明らかとなり、提案したベンチマークが研究コミュニティにとっての課題となる。 我々は,本ベンチマークが真に信頼性の高い回帰不確実性推定手法の開発にさらなる取り組みを刺激することを期待する。 コードはhttps://github.com/fregu856/regression_uncertaintyで入手できる。

関連論文リスト

• Beyond the Norms: Detecting Prediction Errors in Regression Models [26.178065248948773]
  本稿では,回帰アルゴリズムにおける信頼できない振る舞いを検出するという課題に取り組む。 回帰器の出力が特定の不一致(または誤り)を超えた場合、回帰における不確実性の概念を導入する。 複数の回帰タスクに対する誤り検出の実証的改善を示す。
  論文  参考訳（メタデータ） (2024-06-11T05:51:44Z)
• Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling via Bayesian Neural Networks [31.67508478764597]
  我々は,半教師付き回帰,すなわち不確実連続変分モデル組立(UCVME)に対する新しいアプローチを提案する。 整合性損失は不確実性評価を著しく改善し,不整合回帰の下では,高品質な擬似ラベルをより重要視することができる。 実験の結果,本手法は様々なタスクにおける最先端の代替手段よりも優れており,フルラベルを用いた教師付き手法と競合する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-02-15T10:40:51Z)
• Reliable Multimodal Trajectory Prediction via Error Aligned Uncertainty Optimization [11.456242421204298]
  よく校正されたモデルでは、不確実性推定はモデル誤差と完全に相関する。 本稿では,モデル誤差に整合した品質不確実性推定を導出するための,新しい誤差整合不確実性最適化手法を提案する。 本研究では, 平均変位誤差を1.69%, 4.69%, モデル誤差との不確実性相関を17.22%, 19.13%, ピアソン相関係数で定量化することにより, 平均変位誤差を1.69%, 4.69%改善することを示した。
  論文  参考訳（メタデータ） (2022-12-09T12:33:26Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Recalibration of Aleatoric and Epistemic Regression Uncertainty in Medical Imaging [2.126171264016785]
  回帰における不確実性は、信頼できない予測の堅牢な拒絶や、分布外サンプルの検出を可能にする。 sigma $ scalingは予測の不確実性を確実に再調整することができる。
  論文  参考訳（メタデータ） (2021-04-26T07:18:58Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。