論文の概要: Corrected generalized cross-validation for finite ensembles of penalized estimators

• arxiv url: http://arxiv.org/abs/2310.01374v2
• Date: Sun, 21 Apr 2024 05:30:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 00:42:43.510327
• Title: Corrected generalized cross-validation for finite ensembles of penalized estimators
• Title（参考訳）: ペナル化推定器の有限アンサンブルに対する補正一般化クロスバリデーション
• Authors: Pierre C. Bellec, Jin-Hong Du, Takuya Koriyama, Pratik Patil, Kai Tan,
• Abstract要約: Generalized Cross-Vidation (GCV) は、正方形外乱予測リスクを推定するための広く使われている手法である。 GCV は 1 以上の大きさの有限アンサンブルに対して不整合であることを示す。
• 参考スコア（独自算出の注目度）: 5.165142221427927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalized cross-validation (GCV) is a widely-used method for estimating the squared out-of-sample prediction risk that employs a scalar degrees of freedom adjustment (in a multiplicative sense) to the squared training error. In this paper, we examine the consistency of GCV for estimating the prediction risk of arbitrary ensembles of penalized least-squares estimators. We show that GCV is inconsistent for any finite ensemble of size greater than one. Towards repairing this shortcoming, we identify a correction that involves an additional scalar correction (in an additive sense) based on degrees of freedom adjusted training errors from each ensemble component. The proposed estimator (termed CGCV) maintains the computational advantages of GCV and requires neither sample splitting, model refitting, or out-of-bag risk estimation. The estimator stems from a finer inspection of the ensemble risk decomposition and two intermediate risk estimators for the components in this decomposition. We provide a non-asymptotic analysis of the CGCV and the two intermediate risk estimators for ensembles of convex penalized estimators under Gaussian features and a linear response model. Furthermore, in the special case of ridge regression, we extend the analysis to general feature and response distributions using random matrix theory, which establishes model-free uniform consistency of CGCV.
• Abstract（参考訳）: Generalized Cross-Vidation (GCV) は、二乗トレーニングエラーに対して、スカラーな自由度調整(乗法的な意味で)を用いる、二乗アウトオブサンプル予測リスクを推定するために広く用いられている手法である。 本稿では,最小二乗推定器の任意のアンサンブルの予測リスクを推定するためのGCVの整合性について検討する。 GCV は 1 以上の大きさの有限アンサンブルに対して不整合であることを示す。 この欠点を修復するために,各アンサンブルコンポーネントからの自由度調整されたトレーニングエラーに基づいて,追加のスカラー補正(加法的意味)を含む補正を同定する。 提案した推定器(CGCV)は, GCVの計算上の優位性を維持し, サンプル分割, モデル再構成, バッグ外リスク推定を必要としない。 この推定器は、アンサンブルのリスク分解のより詳細な検査と、この分解におけるコンポーネントに対する2つの中間リスク推定器から導かれる。 本稿では,Gauss的特徴と線形応答モデルの下での凸ペナル化推定器のアンサンブルに対するCGCVと2つの中間リスク推定器の非漸近解析を行った。 さらに、尾根回帰の特別な場合において、CGCVのモデルフリー一様整合性を確立するランダム行列理論を用いて、解析を一般的な特徴と応答分布にまで拡張する。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Failures and Successes of Cross-Validation for Early-Stopped Gradient Descent [8.0225129190882]
  我々は、早期降下勾配(GD)に適用された一般クロスバリデーション(GCV)とアウトアウトクロスバリデーション(LOOCV)の統計的性質を解析する。 等方性を有する線形モデルであっても, GCV は早期停止型GD の予測リスクの予測器として不整合であることが証明された。 我々の理論はデータ分布に関する軽微な仮定しか必要とせず、根底にある回帰関数を線形とする必要はない。
  論文  参考訳（メタデータ） (2024-02-26T18:07:27Z)
• Asymptotically free sketched ridge ensembles: Risks, cross-validation, and tuning [5.293069542318491]
  我々は、スケッチされたリッジ回帰アンサンブルの予測リスクを推定するために、ランダム行列理論を用いて、一般化されたクロスバリデーション(GCV)の整合性を確立する。 正方形の予測リスクに対して,無作為な等価な暗黙のリッジバイアスとスケッチに基づく分散を分解し,無限アンサンブルにおけるスケッチサイズのみによるグローバルなチューニングが可能であることを証明した。 また,小型のスケッチ付きリッジ・アンサンブルを用いて,GCVを用いて非ケッチ・リッジ・レグレッションのリスクを効率的に推定できるアンサンブル・トリックを提案する。
  論文  参考訳（メタデータ） (2023-10-06T16:27:43Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Generalized Resubstitution for Classification Error Estimation [0.0]
  経験的尺度に基づく一般化された再置換誤差推定器のファミリーを提案する。 これらの誤差推定器は計算効率が良く、分類器の再学習を必要としない。
  論文  参考訳（メタデータ） (2021-10-23T19:42:11Z)
• Distribution-Free Robust Linear Regression [5.532477732693]
  共変体の分布を仮定せずにランダムな設計線形回帰を研究する。 最適部分指数尾を持つオーダー$d/n$の過大なリスクを達成する非線形推定器を構築する。 我々は、Gy"orfi, Kohler, Krzyzak, Walk が原因で、truncated least squares 推定器の古典的境界の最適版を証明した。
  論文  参考訳（メタデータ） (2021-02-25T15:10:41Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。