論文の概要: Prediction Risk and Estimation Risk of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors

• arxiv url: http://arxiv.org/abs/2305.12883v3
• Date: Thu, 13 Jun 2024 01:16:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-15 02:38:50.630094
• Title: Prediction Risk and Estimation Risk of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors
• Title（参考訳）: 回帰誤差の一般推定に基づくリッジレス最小方形推定器の予測リスクと推定リスク
• Authors: Sungyoon Lee, Sokbae Lee,
• Abstract要約: より一般的な回帰誤差仮定の下で予測リスクと推定リスクについて検討する。 その結果,パラメータ化の利点は時系列,パネル,グループ化データにまで拡張できることが示唆された。
• 参考スコア（独自算出の注目度）: 10.857775300638831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, there has been a significant growth in research focusing on minimum $\ell_2$ norm (ridgeless) interpolation least squares estimators. However, the majority of these analyses have been limited to an unrealistic regression error structure, assuming independent and identically distributed errors with zero mean and common variance. In this paper, we explore prediction risk as well as estimation risk under more general regression error assumptions, highlighting the benefits of overparameterization in a more realistic setting that allows for clustered or serial dependence. Notably, we establish that the estimation difficulties associated with the variance components of both risks can be summarized through the trace of the variance-covariance matrix of the regression errors. Our findings suggest that the benefits of overparameterization can extend to time series, panel and grouped data.
• Abstract（参考訳）: 近年、最小$\ell_2$ノルム(リッジレス)補間最小二乗推定器に焦点をあてる研究が著しい成長を遂げている。 しかし、これらの分析の大部分は非現実的な回帰誤差構造に限られており、平均と共通分散をゼロとする独立かつ同一の分散誤差を仮定している。 本稿では,より一般的な回帰誤差仮定の下での予測リスクと推定リスクについて検討し,クラスタ化やシリアル依存が可能なより現実的な環境で過パラメータ化の利点を明らかにする。 特に, 回帰誤差の分散共分散行列のトレースにより, 両リスクの分散成分に関する推定困難さを要約できることを確認した。 その結果,過パラメータ化の利点は時系列,パネル,グループ化データにまで拡張できることが示唆された。

関連論文リスト

• High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile [0.0]
  線形回帰に対する尾根推定器の予測リスクを分散プロファイルを用いて検討した。 ある種の分散プロファイルについては、よく知られた二重降下現象の出現に注目した。 また、独立分散データと同一分散データの標準設定で存在する類似点と相違点についても検討する。
  論文  参考訳（メタデータ） (2024-03-29T14:24:49Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [63.32053223422317]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Errors-in-variables Fr\'echet Regression with Low-rank Covariate Approximation [2.1756081703276]
  Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。 提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
  論文  参考訳（メタデータ） (2023-05-16T08:37:54Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Dimensionality reduction, regularization, and generalization in overparameterized regressions [8.615625517708324]
  主成分回帰(主成分回帰)としても知られるPCA-OLSは次元の減少によって回避できることを示す。 OLSは任意に敵の攻撃を受けやすいが,次元性低下はロバスト性を向上させることを示す。 その結果,プロジェクションがトレーニングデータに依存する手法は,トレーニングデータとは独立にプロジェクションが選択される手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-11-23T15:38:50Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。