論文の概要: Cross-validation: what does it estimate and how well does it do it?
- arxiv url: http://arxiv.org/abs/2104.00673v1
- Date: Thu, 1 Apr 2021 17:58:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-02 16:36:32.443007
- Title: Cross-validation: what does it estimate and how well does it do it?
- Title(参考訳): クロスバリデーション(cross-validation): 見積もりはどのようなもので、どの程度うまく機能するのか?
- Authors: Stephen Bates and Trevor Hastie and Robert Tibshirani
- Abstract要約: クロスバリデーションは予測誤差を推定するために広く使われている手法であるが、その振る舞いは複雑であり、完全には理解されていない。
これは、通常の最小二乗に適合する線形モデルの場合ではなく、同じ集団から引き出された他の目に見えない訓練セットに適合するモデルの平均予測誤差を推定するものである。
- 参考スコア(独自算出の注目度): 2.049702429898688
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-validation is a widely-used technique to estimate prediction error, but
its behavior is complex and not fully understood. Ideally, one would like to
think that cross-validation estimates the prediction error for the model at
hand, fit to the training data. We prove that this is not the case for the
linear model fit by ordinary least squares; rather it estimates the average
prediction error of models fit on other unseen training sets drawn from the
same population. We further show that this phenomenon occurs for most popular
estimates of prediction error, including data splitting, bootstrapping, and
Mallow's Cp. Next, the standard confidence intervals for prediction error
derived from cross-validation may have coverage far below the desired level.
Because each data point is used for both training and testing, there are
correlations among the measured accuracies for each fold, and so the usual
estimate of variance is too small. We introduce a nested cross-validation
scheme to estimate this variance more accurately, and show empirically that
this modification leads to intervals with approximately correct coverage in
many examples where traditional cross-validation intervals fail. Lastly, our
analysis also shows that when producing confidence intervals for prediction
accuracy with simple data splitting, one should not re-fit the model on the
combined data, since this invalidates the confidence intervals.
- Abstract(参考訳): クロスバリデーションは予測誤差を推定するために広く使われている手法であるが、その振る舞いは複雑であり、完全には理解されていない。
理想的には、クロスバリデーションがモデルの予測エラーを予測し、トレーニングデータに適合すると考える必要がある。
これは、通常の最小二乗に適合する線形モデルの場合ではなく、同じ集団から引き出された他の目に見えない訓練セットに適合するモデルの平均予測誤差を推定する。
さらに,データ分割,ブートストラップ,mallowのcpなど,予測誤差の最も一般的な推定値に対してこの現象が発生することを示す。
次に、クロスバリデーションから導かれる予測誤差の標準信頼区間は、所望のレベルをはるかに下回る範囲を持つ可能性がある。
各データポイントはトレーニングとテストの両方に使用されるため、各フォールドについて測定されたアキュラティの間に相関があり、通常の分散の推定は小さすぎる。
本研究では,この差分をより正確に推定するためのネスト型クロスバリデーション手法を導入し,従来のクロスバリデーション間隔が失敗する例の多くにおいて,この修正がほぼ正しいカバレッジを持つ間隔につながることを示す。
最後に,単純なデータ分割による予測精度のための信頼区間を生成する場合,信頼区間を無効にするため,結合データに対するモデルの再適合は避けるべきであることを示す。
関連論文リスト
- Regression Trees for Fast and Adaptive Prediction Intervals [2.6763498831034043]
本稿では,局所的なカバレッジ保証を伴う回帰問題に対して,予測間隔を調整するための一連の手法を提案する。
回帰木とランダムフォレストを適合度スコアでトレーニングすることで分割を作成する。
提案手法は多種多様な適合性スコアや予測設定に適用できるため,多種多様である。
論文 参考訳(メタデータ) (2024-02-12T01:17:09Z) - Bootstrapping the Cross-Validation Estimate [3.5159221757909656]
クロスバリデーションは予測モデルの性能を評価するために広く用いられている手法である。
見積もりに関連する不確実性を正確に定量化することが不可欠である。
本稿では,クロスバリデーション推定の標準誤差を迅速に推定する高速ブートストラップ法を提案する。
論文 参考訳(メタデータ) (2023-07-01T07:50:54Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳(メタデータ) (2023-02-23T18:57:14Z) - A Statistical Model for Predicting Generalization in Few-Shot
Classification [6.158812834002346]
一般化誤差を予測するために,特徴分布のガウスモデルを導入する。
提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-12-13T10:21:15Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳(メタデータ) (2022-11-11T19:34:17Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Confidence intervals for the Cox model test error from cross-validation [91.3755431537592]
クロスバリデーション(CV)は、モデルの試験誤差を推定する統計学習において最も広く使われている手法の1つである。
CVからの推定値を用いたテストエラーの標準信頼区間は、名目レベル以下である可能性がある。
この問題の1つの方法は、ネストされたCVを使って予測誤差の平均2乗誤差を推定することである。
論文 参考訳(メタデータ) (2022-01-26T06:40:43Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z) - Robust Validation: Confident Predictions Even When Distributions Shift [24.211408049646153]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳(メタデータ) (2020-08-10T17:09:16Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。