論文の概要: Uncertainty Quantification Metrics for Deep Regression

• arxiv url: http://arxiv.org/abs/2405.04278v4
• Date: Tue, 29 Oct 2024 10:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:36:24.688853
• Title: Uncertainty Quantification Metrics for Deep Regression
• Title（参考訳）: 深部回帰のための不確かさ定量化指標
• Authors: Simon Kristoffersson Lind, Ziliang Xiong, Per-Erik Forssén, Volker Krüger,
• Abstract要約: スカラー化誤差, 誤差, スピアマンランク相関, 負対数類似度について検討した。 これらの指標が4つの典型的な不確実性の下でどのように振る舞うかを考察する。 以上の結果から,Errorは最も安定かつ解釈可能な指標であるが,AUSEとNLLにもそれぞれのユースケースが存在することが示唆された。
• 参考スコア（独自算出の注目度）: 1.1999555634662633
• License:
• Abstract: When deploying deep neural networks on robots or other physical systems, the learned model should reliably quantify predictive uncertainty. A reliable uncertainty allows downstream modules to reason about the safety of its actions. In this work, we address metrics for evaluating such an uncertainty. Specifically, we focus on regression tasks, and investigate Area Under Sparsification Error (AUSE), Calibration Error, Spearman's Rank Correlation, and Negative Log-Likelihood (NLL). Using synthetic regression datasets, we look into how those metrics behave under four typical types of uncertainty, their stability regarding the size of the test set, and reveal their strengths and weaknesses. Our results indicate that Calibration Error is the most stable and interpretable metric, but AUSE and NLL also have their respective use cases. We discourage the usage of Spearman's Rank Correlation for evaluating uncertainties and recommend replacing it with AUSE.
• Abstract（参考訳）: ロボットや他の物理システムにディープニューラルネットワークをデプロイする場合、学習モデルは予測の不確実性を確実に定量化する必要がある。 確実な不確実性により、下流モジュールはその動作の安全性を推論することができる。 本研究では,このような不確実性を評価するための指標について述べる。 具体的には、回帰タスクに着目し、AUSE(Area Under Sparsification Error)、Calibration Error(Calibration Error)、Spearman's Rank correlation(Spearman's Rank correlation)、NLL(Negative Log-Likelihood)を調査する。 合成回帰データセットを用いて、これらの指標が4つの典型的な不確実性、テストセットのサイズに関する安定性、強みと弱点の下でどのように振る舞うかを考察する。 その結果,キャリブレーションエラーが最も安定かつ解釈可能な指標であることが示唆されたが,AUSEとNLLにはそれぞれのユースケースがある。 我々は、不確実性を評価するためにSpearman's Rank correlationの使用を禁止し、AUSEに置き換えることを推奨する。

関連論文リスト

• Beyond the Norms: Detecting Prediction Errors in Regression Models [26.178065248948773]
  本稿では,回帰アルゴリズムにおける信頼できない振る舞いを検出するという課題に取り組む。 回帰器の出力が特定の不一致(または誤り)を超えた場合、回帰における不確実性の概念を導入する。 複数の回帰タスクに対する誤り検出の実証的改善を示す。
  論文  参考訳（メタデータ） (2024-06-11T05:51:44Z)
• Decoupling of neural network calibration measures [45.70855737027571]
  本稿では,AUSE(Area Under Sparsification Error curve)測定値に焦点をあてて,異なるニューラルネットワークキャリブレーション尺度の結合について検討する。 本稿では,現行の手法は自由度を保ち,安全クリティカルな機能のホモログ化のユニークなモデルを妨げると結論付けている。
  論文  参考訳（メタデータ） (2024-06-04T15:21:37Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• On Calibrated Model Uncertainty in Deep Learning [0.0]
  損失校正されたベイジアンフレームワークの近似推論を,ドロップウェイトに基づくベイジアンニューラルネットワークに拡張する。 損失校正された不確実性から得られる決定は、簡単な代替手段よりも、診断性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-06-15T20:16:32Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Recalibration of Aleatoric and Epistemic Regression Uncertainty in Medical Imaging [2.126171264016785]
  回帰における不確実性は、信頼できない予測の堅牢な拒絶や、分布外サンプルの検出を可能にする。 sigma $ scalingは予測の不確実性を確実に再調整することができる。
  論文  参考訳（メタデータ） (2021-04-26T07:18:58Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• Second-Moment Loss: A Novel Regression Objective for Improved Uncertainties [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2020-12-23T14:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。