論文の概要: Prediction Risk and Estimation Risk of the Ridgeless Least Squares
Estimator under General Assumptions on Regression Errors
- arxiv url: http://arxiv.org/abs/2305.12883v2
- Date: Mon, 16 Oct 2023 17:50:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 05:09:27.532360
- Title: Prediction Risk and Estimation Risk of the Ridgeless Least Squares
Estimator under General Assumptions on Regression Errors
- Title(参考訳): 回帰誤差の一般推定に基づくリッジレス最小方形推定器の予測リスクと推定リスク
- Authors: Sungyoon Lee, Sokbae Lee
- Abstract要約: より一般的な回帰誤差仮定の下で予測リスクと推定リスクについて検討する。
サンプルサイズに対して重要でないパラメータを多数含むことで、両方のリスクを効果的に軽減できることがわかった。
- 参考スコア(独自算出の注目度): 12.827023170889811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, there has been a significant growth in research focusing on
minimum $\ell_2$ norm (ridgeless) interpolation least squares estimators.
However, the majority of these analyses have been limited to a simple
regression error structure, assuming independent and identically distributed
errors with zero mean and common variance. In this paper, we explore prediction
risk as well as estimation risk under more general regression error
assumptions, highlighting the benefits of overparameterization in a finite
sample. We find that including a large number of unimportant parameters
relative to the sample size can effectively reduce both risks. Notably, we
establish that the estimation difficulties associated with the variance
components of both risks can be summarized through the trace of the
variance-covariance matrix of the regression errors.
- Abstract(参考訳): 近年、最小$\ell_2$ノルム(リッジレス)補間最小二乗推定器に焦点を当てた研究が著しい成長を遂げている。
しかし、これらの分析のほとんどは単純な回帰誤差構造に制限されており、平均と共分散がゼロである独立かつ同一の分散誤差を仮定している。
本稿では,より一般的な回帰誤差仮定の下での予測リスクと推定リスクについて検討し,有限サンプルにおける過パラメータの利点を浮き彫りにする。
サンプルサイズに対する重要でないパラメータを多数含むと、両方のリスクを効果的に低減できることがわかった。
特に,両リスクの分散成分に関連する推定の難しさを回帰誤差の分散共分散行列のトレースを通して要約できることを示す。
関連論文リスト
- Model-Based Epistemic Variance of Values for Risk-Aware Policy
Optimization [63.32053223422317]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳(メタデータ) (2023-09-28T13:04:11Z) - Transfer Learning with Random Coefficient Ridge Regression [2.0813318162800707]
ランダム係数のリッジ回帰は、高次元設定における固定係数回帰の重要な代替となる。
本稿では,移動学習の設定におけるランダム係数リッジ回帰の推定と予測について考察する。
論文 参考訳(メタデータ) (2023-06-28T04:36:37Z) - On the Variance, Admissibility, and Stability of Empirical Risk
Minimization [80.26309576810844]
2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。
軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。
また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
論文 参考訳(メタデータ) (2023-05-29T15:25:48Z) - Errors-in-variables Fr\'echet Regression with Low-rank Covariate
Approximation [2.1756081703276]
Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。
提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
論文 参考訳(メタデータ) (2023-05-16T08:37:54Z) - Vector-Valued Least-Squares Regression under Output Regularity
Assumptions [73.99064151691597]
最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。
提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
論文 参考訳(メタデータ) (2022-11-16T15:07:00Z) - Off-Policy Risk Assessment in Markov Decision Processes [15.225153671736201]
我々はマルコフ決定過程(MDPs)におけるリターンのCDFのための最初の2倍ロバスト(DR)推定器を開発する。
この推定器は、分散を著しく少なくし、モデルが十分に特定されたとき、クレーマー・ラオ分散の低い境界を達成する。
オフポリチックCDFとリスク推定のための最初のミニマックス下限を導出する。
論文 参考訳(メタデータ) (2022-09-21T15:40:59Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T17:41:40Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳(メタデータ) (2020-10-12T14:54:32Z) - Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。
主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
論文 参考訳(メタデータ) (2020-02-06T22:08:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。