論文の概要: Confidence intervals for the Cox model test error from cross-validation
- arxiv url: http://arxiv.org/abs/2201.10770v1
- Date: Wed, 26 Jan 2022 06:40:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 14:11:39.817448
- Title: Confidence intervals for the Cox model test error from cross-validation
- Title(参考訳): クロスバリデーションによるCoxモデルテスト誤差の信頼区間
- Authors: Min Woo Sun, Robert Tibshirani
- Abstract要約: クロスバリデーション(CV)は、モデルの試験誤差を推定する統計学習において最も広く使われている手法の1つである。
CVからの推定値を用いたテストエラーの標準信頼区間は、名目レベル以下である可能性がある。
この問題の1つの方法は、ネストされたCVを使って予測誤差の平均2乗誤差を推定することである。
- 参考スコア(独自算出の注目度): 91.3755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-validation (CV) is one of the most widely used techniques in
statistical learning for estimating the test error of a model, but its behavior
is not yet fully understood. It has been shown that standard confidence
intervals for test error using estimates from CV may have coverage below
nominal levels. This phenomenon occurs because each sample is used in both the
training and testing procedures during CV and as a result, the CV estimates of
the errors become correlated. Without accounting for this correlation, the
estimate of the variance is smaller than it should be. One way to mitigate this
issue is by estimating the mean squared error of the prediction error instead
using nested CV. This approach has been shown to achieve superior coverage
compared to intervals derived from standard CV. In this work, we generalize the
nested CV idea to the Cox proportional hazards model and explore various
choices of test error for this setting.
- Abstract(参考訳): クロスバリデーション(CV)は、モデルのテストエラーを推定する統計学習において最も広く使われている手法の1つであるが、その振る舞いはまだ完全には理解されていない。
CVからの推定値を用いたテスト誤差の標準信頼区間は、名目レベル以下である可能性が示されている。
この現象は、各試料がCV中のトレーニングと試験の両方の手順で使用され、その結果、CV推定誤差が相関するからである。
この相関を考慮せずに、分散の見積もりは、必要以上に小さくなる。
この問題を軽減する一つの方法は、ネストcvの代わりに予測誤差の平均二乗誤差を推定することである。
このアプローチは標準cvの間隔よりも優れたカバレッジを達成することが示されている。
本研究では,ネストCVのアイデアをCox比例ハザードモデルに一般化し,この設定に対する様々なテストエラーの選択について検討する。
関連論文リスト
- Is K-fold cross validation the best model selection method for Machine
Learning? [0.0]
K-foldクロスバリデーション(K-fold cross-validation)は、機械学習の結果が偶然に生成される可能性を確認する最も一般的なアプローチである。
K-fold CVと実際の誤差(K-fold CUBV)のアッパーバウンドに基づく新規な試験が構成される。
論文 参考訳(メタデータ) (2024-01-29T18:46:53Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳(メタデータ) (2022-11-11T19:34:17Z) - Cross-validation: what does it estimate and how well does it do it? [2.049702429898688]
クロスバリデーションは予測誤差を推定するために広く使われている手法であるが、その振る舞いは複雑であり、完全には理解されていない。
これは、通常の最小二乗に適合する線形モデルの場合ではなく、同じ集団から引き出された他の目に見えない訓練セットに適合するモデルの平均予測誤差を推定するものである。
論文 参考訳(メタデータ) (2021-04-01T17:58:54Z) - Learning from Similarity-Confidence Data [94.94650350944377]
類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。
本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
論文 参考訳(メタデータ) (2021-02-13T07:31:16Z) - When to Impute? Imputation before and during cross-validation [0.0]
クロスバリデーション (CV) は予測モデルの一般化誤差を推定する手法である。
パイプライン全体の外部テストセットへの適用を模倣するために、CVの複製毎に全ステップを実行することが推奨されている。
論文 参考訳(メタデータ) (2020-10-01T23:04:16Z) - Rademacher upper bounds for cross-validation errors with an application
to the lasso [6.837167110907022]
我々は、K$-foldクロスバリデーション(K$-CV)エラーに対する一般的な上限を確立する。
CV誤差上限は軽テール分布と重テール誤差分布の両方に適用される。
CVエラー上限を$K$-CVベースのアルゴリズムで計算するためのPythonパッケージを提供する。
論文 参考訳(メタデータ) (2020-07-30T17:13:03Z) - Cross-validation Confidence Intervals for Test Error [83.67415139421448]
この研究は、クロスバリデーションのための中心極限定理と、学習アルゴリズムの弱い安定性条件下での分散の一貫した推定器を開発する。
結果は、一般的な1対1のクロスバリデーションの選択にとって、初めてのものだ。
論文 参考訳(メタデータ) (2020-07-24T17:40:06Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Estimating the Prediction Performance of Spatial Models via Spatial
k-Fold Cross Validation [1.7205106391379026]
機械学習では、モデルの性能を評価するときにデータが独立していると仮定することが多い。
空間自己相関(spatial autocorrelation, SAC)は、標準クロスバリデーション(CV)法により、楽観的に偏りのある予測性能推定を生成する。
本研究では,SACによる楽観的バイアスを伴わないモデル予測性能を評価するため,空間k-fold Cross Validation (SKCV) と呼ばれるCV法の改良版を提案する。
論文 参考訳(メタデータ) (2020-05-28T19:55:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。