論文の概要: A Honest Cross-Validation Estimator for Prediction Performance

• arxiv url: http://arxiv.org/abs/2510.07649v1
• Date: Thu, 09 Oct 2025 00:45:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.794025
• Title: A Honest Cross-Validation Estimator for Prediction Performance
• Title（参考訳）: 予測性能のための最適クロスバリデーション推定器
• Authors: Tianyu Pan, Vincent Z. Yu, Viswanath Devanarayan, Lu Tian,
• Abstract要約: 特定の(ランダムな)トレーニングセットでトレーニングされたモデルの性能を推定する新しい手法を提案する。 解離試験セットにモデルを適用することにより、ナイーブ推定器を得ることができる。 驚くべきことに、他のランダムスプリットから計算されたクロスバリデーション推定器は、この単純な推定器を改善するために使用できる。
• 参考スコア（独自算出の注目度）: 7.658204422272981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-validation is a standard tool for obtaining a honest assessment of the performance of a prediction model. The commonly used version repeatedly splits data, trains the prediction model on the training set, evaluates the model performance on the test set, and averages the model performance across different data splits. A well-known criticism is that such cross-validation procedure does not directly estimate the performance of the particular model recommended for future use. In this paper, we propose a new method to estimate the performance of a model trained on a specific (random) training set. A naive estimator can be obtained by applying the model to a disjoint testing set. Surprisingly, cross-validation estimators computed from other random splits can be used to improve this naive estimator within a random-effects model framework. We develop two estimators -- a hierarchical Bayesian estimator and an empirical Bayes estimator -- that perform similarly to or better than both the conventional cross-validation estimator and the naive single-split estimator. Simulations and a real-data example demonstrate the superior performance of the proposed method.
• Abstract（参考訳）: クロスバリデーションは予測モデルの性能を正直に評価するための標準ツールである。 一般的に使用されるバージョンは、データを繰り返し分割し、トレーニングセット上で予測モデルをトレーニングし、テストセット上でのモデルパフォーマンスを評価し、異なるデータ分割間でモデルパフォーマンスを平均化する。 良く知られた批判は、このようなクロスバリデーション手順は、将来の使用のために推奨される特定のモデルの性能を直接見積もるものではないということである。 本稿では,特定の(ランダムな)トレーニングセット上でトレーニングされたモデルの性能を推定する新しい手法を提案する。 解離試験セットにモデルを適用することにより、ナイーブ推定器を得ることができる。 驚くべきことに、他のランダムスプリットから計算されたクロスバリデーション推定器は、ランダムエフェクトモデルフレームワーク内でこの単純な推定器を改善するために使用できる。 階層的ベイズ推定器と経験的ベイズ推定器という2つの推定器を開発し、従来のクロスバリデーション推定器と単純な単一分割推定器の両方と同等かそれ以上に機能する。 シミュレーションと実データ例は,提案手法の優れた性能を示す。

関連論文リスト

• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Pre-validation Revisited [79.92204034170092]
  シミュレーションと応用による予測,推測,誤差推定における事前検証の特性と利点を示す。 そこで本研究では, あるモデル下での事前検証予測のためのテスト統計量の解析的分布だけでなく, 推論を行うための一般的なブートストラップ手順も提案する。
  論文  参考訳（メタデータ） (2025-05-21T00:20:14Z)
• Distributional bias compromises leave-one-out cross-validation [0.6656737591902598]
  クロスバリデーションは機械学習モデルの予測性能を推定する一般的な手法である。 そこで本研究では,"leave-out-out cross-validation" という手法によって,各トレーニングフォールドの平均ラベルと対応するテストインスタンスのラベルとの間に負の相関が生じることを示す。 分類と回帰の両方に対して分布バイアスを補正する一般化可能な再均衡型クロスバリデーション手法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:47:34Z)
• Bootstrapping the Cross-Validation Estimate [5.816215734815304]
  クロスバリデーションは予測モデルの性能を評価するために広く用いられている手法である。 本稿では,クロスバリデーション推定の標準誤差を迅速に推定する高速ブートストラップ法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T07:50:54Z)
• Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
  効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。 異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-02-02T19:28:41Z)
• Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
  機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。 本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:43Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。