論文の概要: The Mean Squared Error of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors

• arxiv url: http://arxiv.org/abs/2305.12883v1
• Date: Mon, 22 May 2023 10:04:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 16:50:06.976617
• Title: The Mean Squared Error of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors
• Title（参考訳）: 回帰誤差の一般推定に基づくリッジレス最小正方形推定器の平均正方形誤差
• Authors: Sungyoon Lee, Sokbae Lee
• Abstract要約: 本論文は,尾根のない最小二乗推定器の平均二乗誤差を調べることによって,既存の文献から分離する。 その結果,サンプルサイズに比して重要なパラメータを多数含むことで,推定器の平均二乗誤差を効果的に低減できることがわかった。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, there has been a significant growth in research focusing on minimum $\ell_2$ norm (ridgeless) interpolation least squares estimators. However, the majority of these analyses have been limited to a simple regression error structure, assuming independent and identically distributed errors with zero mean and common variance, independent of the feature vectors. Additionally, the main focus of these theoretical analyses has been on the out-of-sample prediction risk. This paper breaks away from the existing literature by examining the mean squared error of the ridgeless interpolation least squares estimator, allowing for more general assumptions about the regression errors. Specifically, we investigate the potential benefits of overparameterization by characterizing the mean squared error in a finite sample. Our findings reveal that including a large number of unimportant parameters relative to the sample size can effectively reduce the mean squared error of the estimator. Notably, we establish that the estimation difficulties associated with the variance term can be summarized through the trace of the variance-covariance matrix of the regression errors.
• Abstract（参考訳）: 近年、最小$\ell_2$ノルム(リッジレス)補間最小二乗推定器に焦点を当てた研究が著しい成長を遂げている。 しかし、これらの分析の大部分は、平均と共通分散をゼロとする独立かつ同一に分散した誤差を仮定する、単純な回帰誤差構造に限られている。 さらに、これらの理論解析の主な焦点は、サンプル外の予測リスクである。 本稿では,リッジレス補間最小二乗推定器の平均二乗誤差を調べ,回帰誤差に関するより一般的な仮定を可能にすることにより,既存の文献から逸脱する。 具体的には,有限サンプルの平均二乗誤差を特徴付けることにより,過パラメータ化の潜在的な利点について検討する。 その結果,サンプルサイズに比して重要なパラメータを多数含むことで,推定器の平均二乗誤差を効果的に低減できることがわかった。 特に,回帰誤差の分散共分散行列のトレースを通して,分散項に関連する推定の難しさを要約できることを示す。

関連論文リスト

• Generalization Error of the Tilted Empirical Risk [17.48212403081267]
  教師付き統計学習アルゴリズムの一般化誤差(リスク)は、これまで見られなかったデータに対する予測能力を定量化する。 指数傾斜にインスパイアされたLi et al. (2021) は、機械学習アプリケーションのための非線形リスク指標として傾いた経験的リスクを提案した。
  論文  参考訳（メタデータ） (2024-09-28T18:31:51Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Errors-in-variables Fr\'echet Regression with Low-rank Covariate Approximation [2.1756081703276]
  Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。 提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
  論文  参考訳（メタデータ） (2023-05-16T08:37:54Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。