論文の概要: Failures and Successes of Cross-Validation for Early-Stopped Gradient Descent

• arxiv url: http://arxiv.org/abs/2402.16793v1
• Date: Mon, 26 Feb 2024 18:07:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 19:40:22.272064
• Title: Failures and Successes of Cross-Validation for Early-Stopped Gradient Descent
• Title（参考訳）: 早期停止勾配降下に対するクロスバリデーションの失敗と成功
• Authors: Pratik Patil, Yuchen Wu, Ryan J. Tibshirani
• Abstract要約: 我々は、早期降下勾配(GD)に適用された一般クロスバリデーション(GCV)とアウトアウトクロスバリデーション(LOOCV)の統計的性質を解析する。 等方性を有する線形モデルであっても, GCV は早期停止型GD の予測リスクの予測器として不整合であることが証明された。 我々の理論はデータ分布に関する軽微な仮定しか必要とせず、根底にある回帰関数を線形とする必要はない。
• 参考スコア（独自算出の注目度）: 8.0225129190882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analyze the statistical properties of generalized cross-validation (GCV) and leave-one-out cross-validation (LOOCV) applied to early-stopped gradient descent (GD) in high-dimensional least squares regression. We prove that GCV is generically inconsistent as an estimator of the prediction risk of early-stopped GD, even for a well-specified linear model with isotropic features. In contrast, we show that LOOCV converges uniformly along the GD trajectory to the prediction risk. Our theory requires only mild assumptions on the data distribution and does not require the underlying regression function to be linear. Furthermore, by leveraging the individual LOOCV errors, we construct consistent estimators for the entire prediction error distribution along the GD trajectory and consistent estimators for a wide class of error functionals. This in particular enables the construction of pathwise prediction intervals based on GD iterates that have asymptotically correct nominal coverage conditional on the training data.
• Abstract（参考訳）: 高次元最小二乗回帰における一般化クロスバリデーション (gcv) とレフトワンアウトクロスバリデーション (loocv) の統計特性を, 早期停止勾配降下 (gd) に適用した。 等方性を有する線形モデルであっても, GCV は早期停止型GD の予測リスクの予測器として不整合であることが証明された。 対照的に, LOOCVはGD軌道に沿って一様に収束し, 予測リスクを示す。 本理論では,データ分布に対する軽度の仮定のみを求め,基礎となる回帰関数が線形である必要はない。 さらに、個々のloocv誤差を利用して、gd軌道に沿った予測誤差分布全体の一貫した推定器と、幅広いエラー汎関数の一貫した推定器を構築する。 これは特に、訓練データに基づいて漸近的に正しい公称被覆条件を持つgdイテレートに基づくパスワイズ予測区間の構築を可能にする。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Asymptotically free sketched ridge ensembles: Risks, cross-validation, and tuning [5.293069542318491]
  我々は、スケッチされたリッジ回帰アンサンブルの予測リスクを推定するために、ランダム行列理論を用いて、一般化されたクロスバリデーション(GCV)の整合性を確立する。 正方形の予測リスクに対して,無作為な等価な暗黙のリッジバイアスとスケッチに基づく分散を分解し,無限アンサンブルにおけるスケッチサイズのみによるグローバルなチューニングが可能であることを証明した。 また,小型のスケッチ付きリッジ・アンサンブルを用いて,GCVを用いて非ケッチ・リッジ・レグレッションのリスクを効率的に推定できるアンサンブル・トリックを提案する。
  論文  参考訳（メタデータ） (2023-10-06T16:27:43Z)
• Corrected generalized cross-validation for finite ensembles of penalized estimators [5.165142221427927]
  Generalized Cross-Vidation (GCV) は、正方形外乱予測リスクを推定するための広く使われている手法である。 GCV は 1 以上の大きさの有限アンサンブルに対して不整合であることを示す。
  論文  参考訳（メタデータ） (2023-10-02T17:38:54Z)
• BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
  構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。 近年の進歩により、観測データからDAGの有効最大点推定が可能となった。 線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
  論文  参考訳（メタデータ） (2021-12-06T03:35:21Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
  クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。 また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2019-04-18T02:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。