論文の概要: Robustness investigation of quality measures for the assessment of machine learning models

• arxiv url: http://arxiv.org/abs/2408.04391v1
• Date: Thu, 8 Aug 2024 11:51:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 15:48:23.179070
• Title: Robustness investigation of quality measures for the assessment of machine learning models
• Title（参考訳）: 機械学習モデル評価のための品質指標のロバスト性調査
• Authors: Thomas Most, Lars Gräning, Sebastian Wolff,
• Abstract要約: 機械学習モデルの予測品質は、クロスバリデーションアプローチに基づいて評価される。 提案手法は,モデル予測における説明された変動量の定量化である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper the accuracy and robustness of quality measures for the assessment of machine learning models are investigated. The prediction quality of a machine learning model is evaluated model-independent based on a cross-validation approach, where the approximation error is estimated for unknown data. The presented measures quantify the amount of explained variation in the model prediction. The reliability of these measures is assessed by means of several numerical examples, where an additional data set for the verification of the estimated prediction error is available. Furthermore, the confidence bounds of the presented quality measures are estimated and local quality measures are derived from the prediction residuals obtained by the cross-validation approach.
• Abstract（参考訳）: 本稿では,機械学習モデルの評価のための品質指標の精度とロバスト性について検討する。 機械学習モデルの予測品質は、未知データに対して近似誤差を推定するクロスバリデーションアプローチに基づいて、モデルに依存しない評価を行う。 提案手法は,モデル予測における説明された変動量の定量化である。 これらの測定の信頼性は、いくつかの数値的な例を用いて評価され、推定された予測誤差の検証のための追加データセットが利用可能である。 さらに、提案した品質指標の信頼性境界を推定し、クロスバリデーション手法により得られた予測残差から局所品質指標を導出する。

関連論文リスト

• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Rigorous Assessment of Model Inference Accuracy using Language Cardinality [5.584832154027001]
  我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。 我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T21:03:26Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Calibration tests beyond classification [30.616624345970973]
  ほとんどの教師付き機械学習タスクは、既約予測エラーを被る。 確率論的予測モデルは、妥当な目標に対する信念を表す確率分布を提供することによって、この制限に対処する。 校正されたモデルは、予測が過信でも過信でもないことを保証します。
  論文  参考訳（メタデータ） (2022-10-21T09:49:57Z)
• Prediction Errors for Penalized Regressions based on Generalized Approximate Message Passing [0.0]
  C_p$ criterion, Information criteria, and leave-one-out Cross Validation (LOOCV) error。 GAMPの枠組みでは,推定値の分散を利用して情報基準を表現できることが示されている。
  論文  参考訳（メタデータ） (2022-06-26T09:42:39Z)
• Forecast Evaluation in Large Cross-Sections of Realized Volatility [0.0]
  我々は,実効ボラティリティの予測において,拡張断面に基づくモデルの予測精度を評価する。 測定誤差補正と断面ジャンプ成分測定を組み込んだモデル仕様に対する予測の感度について検討した。
  論文  参考訳（メタデータ） (2021-12-09T13:19:09Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• The Aleatoric Uncertainty Estimation Using a Separate Formulation with Virtual Residuals [51.71066839337174]
  既存の手法では、ターゲット推定における誤差を定量化できるが、過小評価する傾向がある。 本稿では,信号とその不確かさを推定するための新たな分離可能な定式化を提案し,オーバーフィッティングの影響を回避した。 提案手法は信号および不確実性推定のための最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-03T12:11:27Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。