論文の概要: The Mean Squared Error of the Ridgeless Least Squares Estimator under
General Assumptions on Regression Errors
- arxiv url: http://arxiv.org/abs/2305.12883v1
- Date: Mon, 22 May 2023 10:04:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 16:50:06.976617
- Title: The Mean Squared Error of the Ridgeless Least Squares Estimator under
General Assumptions on Regression Errors
- Title(参考訳): 回帰誤差の一般推定に基づくリッジレス最小正方形推定器の平均正方形誤差
- Authors: Sungyoon Lee, Sokbae Lee
- Abstract要約: 本論文は,尾根のない最小二乗推定器の平均二乗誤差を調べることによって,既存の文献から分離する。
その結果,サンプルサイズに比して重要なパラメータを多数含むことで,推定器の平均二乗誤差を効果的に低減できることがわかった。
- 参考スコア(独自算出の注目度): 2.0305676256390934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, there has been a significant growth in research focusing on
minimum $\ell_2$ norm (ridgeless) interpolation least squares estimators.
However, the majority of these analyses have been limited to a simple
regression error structure, assuming independent and identically distributed
errors with zero mean and common variance, independent of the feature vectors.
Additionally, the main focus of these theoretical analyses has been on the
out-of-sample prediction risk. This paper breaks away from the existing
literature by examining the mean squared error of the ridgeless interpolation
least squares estimator, allowing for more general assumptions about the
regression errors. Specifically, we investigate the potential benefits of
overparameterization by characterizing the mean squared error in a finite
sample. Our findings reveal that including a large number of unimportant
parameters relative to the sample size can effectively reduce the mean squared
error of the estimator. Notably, we establish that the estimation difficulties
associated with the variance term can be summarized through the trace of the
variance-covariance matrix of the regression errors.
- Abstract(参考訳): 近年、最小$\ell_2$ノルム(リッジレス)補間最小二乗推定器に焦点を当てた研究が著しい成長を遂げている。
しかし、これらの分析の大部分は、平均と共通分散をゼロとする独立かつ同一に分散した誤差を仮定する、単純な回帰誤差構造に限られている。
さらに、これらの理論解析の主な焦点は、サンプル外の予測リスクである。
本稿では,リッジレス補間最小二乗推定器の平均二乗誤差を調べ,回帰誤差に関するより一般的な仮定を可能にすることにより,既存の文献から逸脱する。
具体的には,有限サンプルの平均二乗誤差を特徴付けることにより,過パラメータ化の潜在的な利点について検討する。
その結果,サンプルサイズに比して重要なパラメータを多数含むことで,推定器の平均二乗誤差を効果的に低減できることがわかった。
特に,回帰誤差の分散共分散行列のトレースを通して,分散項に関連する推定の難しさを要約できることを示す。
関連論文リスト
- Model-Based Epistemic Variance of Values for Risk-Aware Policy
Optimization [63.32053223422317]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳(メタデータ) (2023-09-28T13:04:11Z) - Transfer Learning with Random Coefficient Ridge Regression [2.0813318162800707]
ランダム係数のリッジ回帰は、高次元設定における固定係数回帰の重要な代替となる。
本稿では,移動学習の設定におけるランダム係数リッジ回帰の推定と予測について考察する。
論文 参考訳(メタデータ) (2023-06-28T04:36:37Z) - On the Variance, Admissibility, and Stability of Empirical Risk
Minimization [80.26309576810844]
2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。
軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。
また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
論文 参考訳(メタデータ) (2023-05-29T15:25:48Z) - Errors-in-variables Fr\'echet Regression with Low-rank Covariate
Approximation [2.1756081703276]
Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。
提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
論文 参考訳(メタデータ) (2023-05-16T08:37:54Z) - Vector-Valued Least-Squares Regression under Output Regularity
Assumptions [73.99064151691597]
最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。
提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
論文 参考訳(メタデータ) (2022-11-16T15:07:00Z) - Off-Policy Risk Assessment in Markov Decision Processes [15.225153671736201]
我々はマルコフ決定過程(MDPs)におけるリターンのCDFのための最初の2倍ロバスト(DR)推定器を開発する。
この推定器は、分散を著しく少なくし、モデルが十分に特定されたとき、クレーマー・ラオ分散の低い境界を達成する。
オフポリチックCDFとリスク推定のための最初のミニマックス下限を導出する。
論文 参考訳(メタデータ) (2022-09-21T15:40:59Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T17:41:40Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳(メタデータ) (2020-10-12T14:54:32Z) - Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。
主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
論文 参考訳(メタデータ) (2020-02-06T22:08:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。