論文の概要: Bootstrapping the Cross-Validation Estimate

• arxiv url: http://arxiv.org/abs/2307.00260v1
• Date: Sat, 1 Jul 2023 07:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 17:02:00.551984
• Title: Bootstrapping the Cross-Validation Estimate
• Title（参考訳）: クロスバリデーション推定値のブートストラップ
• Authors: Bryan Cai, Fabio Pellegrini, Menglan Pang, Carl de Moor, Changyu Shen, Vivek Charu, and Lu Tian
• Abstract要約: クロスバリデーションは予測モデルの性能を評価するために広く用いられている手法である。 見積もりに関連する不確実性を正確に定量化することが不可欠である。 本稿では,クロスバリデーション推定の標準誤差を迅速に推定する高速ブートストラップ法を提案する。
• 参考スコア（独自算出の注目度）: 3.5159221757909656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-validation is a widely used technique for evaluating the performance of prediction models. It helps avoid the optimism bias in error estimates, which can be significant for models built using complex statistical learning algorithms. However, since the cross-validation estimate is a random value dependent on observed data, it is essential to accurately quantify the uncertainty associated with the estimate. This is especially important when comparing the performance of two models using cross-validation, as one must determine whether differences in error estimates are a result of chance fluctuations. Although various methods have been developed for making inferences on cross-validation estimates, they often have many limitations, such as stringent model assumptions This paper proposes a fast bootstrap method that quickly estimates the standard error of the cross-validation estimate and produces valid confidence intervals for a population parameter measuring average model performance. Our method overcomes the computational challenge inherent in bootstrapping the cross-validation estimate by estimating the variance component within a random effects model. It is just as flexible as the cross-validation procedure itself. To showcase the effectiveness of our approach, we employ comprehensive simulations and real data analysis across three diverse applications.
• Abstract（参考訳）: クロスバリデーションは予測モデルの性能を評価するために広く用いられている手法である。 これは、複雑な統計的学習アルゴリズムを用いて構築されたモデルにとって重要な誤差推定における楽観的バイアスを避けるのに役立つ。 しかし、クロスバリデーション推定は観測データに依存するランダム値であるため、推定に係わる不確実性を正確に定量化することが不可欠である。 これは、誤差推定の違いが確率変動の結果であるかどうかを判断する必要があるため、クロスバリデーションを用いて2つのモデルの性能を比較する際に特に重要である。 本稿では,クロスバリデーション推定の標準誤差を迅速に推定し,平均モデル性能を測定する集団パラメータに対して有効な信頼区間を生成する高速ブートストラップ法を提案する。 本手法は,ランダム効果モデル内の分散成分を推定することにより,クロスバリデーション推定のブートストラップに固有の計算課題を克服する。 クロスバリデーション手順そのものと同じくらい柔軟です。 提案手法の有効性を示すために,3つの多様なアプリケーションにわたる総合シミュレーションと実データ分析を行った。

関連論文リスト

• Distributional bias compromises leave-one-out cross-validation [0.6656737591902598]
  クロスバリデーションは機械学習モデルの予測性能を推定する一般的な手法である。 そこで本研究では,"leave-out-out cross-validation" という手法によって,各トレーニングフォールドの平均ラベルと対応するテストインスタンスのラベルとの間に負の相関が生じることを示す。 分布バイアスを補正する一般化可能な再均衡型クロスバリデーション手法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:47:34Z)
• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [49.992908221544624]
  時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。 従来の深層学習法は時系列計算に有効であることが示されている。 本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• Rigorous Assessment of Model Inference Accuracy using Language Cardinality [5.584832154027001]
  我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。 我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T21:03:26Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Cross-validation: what does it estimate and how well does it do it? [2.049702429898688]
  クロスバリデーションは予測誤差を推定するために広く使われている手法であるが、その振る舞いは複雑であり、完全には理解されていない。 これは、通常の最小二乗に適合する線形モデルの場合ではなく、同じ集団から引き出された他の目に見えない訓練セットに適合するモデルの平均予測誤差を推定するものである。
  論文  参考訳（メタデータ） (2021-04-01T17:58:54Z)
• Fast calculation of Gaussian Process multiple-fold cross-validation residuals and their covariances [0.6091702876917281]
  高速離脱式を複数倍のクロスバリデーションに一般化する。 単純クリグフレームワークと普遍クリグフレームワークの両方において,クロスバリデーション残差の共分散構造を強調した。 本研究の結果は, 高速な多次元クロスバリデーションを可能にし, モデル診断において直接的な結果をもたらす。
  論文  参考訳（メタデータ） (2021-01-08T17:02:37Z)
• Approximate Cross-validated Mean Estimates for Bayesian Hierarchical Regression Models [7.455546102930911]
  本稿では,ベイズ階層回帰モデルに対するクロスバリデーション予測手法を提案する。 理論的な結果を提供し、その効果を公開データやシミュレーションで実証する。
  論文  参考訳（メタデータ） (2020-11-29T00:00:20Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。