論文の概要: Cross-validation: what does it estimate and how well does it do it?

• arxiv url: http://arxiv.org/abs/2104.00673v1
• Date: Thu, 1 Apr 2021 17:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 16:36:32.443007
• Title: Cross-validation: what does it estimate and how well does it do it?
• Title（参考訳）: クロスバリデーション(cross-validation): 見積もりはどのようなもので、どの程度うまく機能するのか?
• Authors: Stephen Bates and Trevor Hastie and Robert Tibshirani
• Abstract要約: クロスバリデーションは予測誤差を推定するために広く使われている手法であるが、その振る舞いは複雑であり、完全には理解されていない。 これは、通常の最小二乗に適合する線形モデルの場合ではなく、同じ集団から引き出された他の目に見えない訓練セットに適合するモデルの平均予測誤差を推定するものである。
• 参考スコア（独自算出の注目度）: 2.049702429898688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-validation is a widely-used technique to estimate prediction error, but its behavior is complex and not fully understood. Ideally, one would like to think that cross-validation estimates the prediction error for the model at hand, fit to the training data. We prove that this is not the case for the linear model fit by ordinary least squares; rather it estimates the average prediction error of models fit on other unseen training sets drawn from the same population. We further show that this phenomenon occurs for most popular estimates of prediction error, including data splitting, bootstrapping, and Mallow's Cp. Next, the standard confidence intervals for prediction error derived from cross-validation may have coverage far below the desired level. Because each data point is used for both training and testing, there are correlations among the measured accuracies for each fold, and so the usual estimate of variance is too small. We introduce a nested cross-validation scheme to estimate this variance more accurately, and show empirically that this modification leads to intervals with approximately correct coverage in many examples where traditional cross-validation intervals fail. Lastly, our analysis also shows that when producing confidence intervals for prediction accuracy with simple data splitting, one should not re-fit the model on the combined data, since this invalidates the confidence intervals.
• Abstract（参考訳）: クロスバリデーションは予測誤差を推定するために広く使われている手法であるが、その振る舞いは複雑であり、完全には理解されていない。 理想的には、クロスバリデーションがモデルの予測エラーを予測し、トレーニングデータに適合すると考える必要がある。 これは、通常の最小二乗に適合する線形モデルの場合ではなく、同じ集団から引き出された他の目に見えない訓練セットに適合するモデルの平均予測誤差を推定する。 さらに,データ分割,ブートストラップ,mallowのcpなど,予測誤差の最も一般的な推定値に対してこの現象が発生することを示す。 次に、クロスバリデーションから導かれる予測誤差の標準信頼区間は、所望のレベルをはるかに下回る範囲を持つ可能性がある。 各データポイントはトレーニングとテストの両方に使用されるため、各フォールドについて測定されたアキュラティの間に相関があり、通常の分散の推定は小さすぎる。 本研究では,この差分をより正確に推定するためのネスト型クロスバリデーション手法を導入し,従来のクロスバリデーション間隔が失敗する例の多くにおいて,この修正がほぼ正しいカバレッジを持つ間隔につながることを示す。 最後に,単純なデータ分割による予測精度のための信頼区間を生成する場合,信頼区間を無効にするため,結合データに対するモデルの再適合は避けるべきであることを示す。

関連論文リスト

• Normalizing Flows for Conformal Regression [0.0]
  Conformal Prediction (CP)アルゴリズムは、ラベル付きデータに基づいて出力を校正することで予測モデルの不確実性を推定する。 キャリブレーション過程をトレーニングすることで、間隔をローカライズする一般的なスキームを提案する。 PapadopoulosらによるError Reweighting CPアルゴリズム(2008年)とは異なり、このフレームワークは名目と経験的条件の妥当性のギャップを推定できる。
  論文  参考訳（メタデータ） (2024-06-05T15:04:28Z)
• Distributional bias compromises leave-one-out cross-validation [0.6656737591902598]
  クロスバリデーションは機械学習モデルの予測性能を推定する一般的な手法である。 そこで本研究では,"leave-out-out cross-validation" という手法によって,各トレーニングフォールドの平均ラベルと対応するテストインスタンスのラベルとの間に負の相関が生じることを示す。 分布バイアスを補正する一般化可能な再均衡型クロスバリデーション手法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:47:34Z)
• Bootstrapping the Cross-Validation Estimate [3.5159221757909656]
  クロスバリデーションは予測モデルの性能を評価するために広く用いられている手法である。 見積もりに関連する不確実性を正確に定量化することが不可欠である。 本稿では,クロスバリデーション推定の標準誤差を迅速に推定する高速ブートストラップ法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T07:50:54Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• A Statistical Model for Predicting Generalization in Few-Shot Classification [6.158812834002346]
  一般化誤差を予測するために,特徴分布のガウスモデルを導入する。 提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-13T10:21:15Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Confidence intervals for the Cox model test error from cross-validation [91.3755431537592]
  クロスバリデーション(CV)は、モデルの試験誤差を推定する統計学習において最も広く使われている手法の1つである。 CVからの推定値を用いたテストエラーの標準信頼区間は、名目レベル以下である可能性がある。 この問題の1つの方法は、ネストされたCVを使って予測誤差の平均2乗誤差を推定することである。
  論文  参考訳（メタデータ） (2022-01-26T06:40:43Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。