論文の概要: Interpolating Predictors in High-Dimensional Factor Regression
- arxiv url: http://arxiv.org/abs/2002.02525v3
- Date: Sat, 20 Mar 2021 22:48:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 10:09:50.444005
- Title: Interpolating Predictors in High-Dimensional Factor Regression
- Title（参考訳）: 高次元因子回帰における補間予測器
- Authors: Florentina Bunea, Seth Strimas-Mackey, Marten Wegkamp
- Abstract要約: この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。
主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
- 参考スコア（独自算出の注目度）: 2.1055643409860743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work studies finite-sample properties of the risk of the minimum-norm
interpolating predictor in high-dimensional regression models. If the effective
rank of the covariance matrix $\Sigma$ of the $p$ regression features is much
larger than the sample size $n$, we show that the min-norm interpolating
predictor is not desirable, as its risk approaches the risk of trivially
predicting the response by 0. However, our detailed finite-sample analysis
reveals, surprisingly, that this behavior is not present when the regression
response and the features are {\it jointly} low-dimensional, following a widely
used factor regression model. Within this popular model class, and when the
effective rank of $\Sigma$ is smaller than $n$, while still allowing for $p \gg
n$, both the bias and the variance terms of the excess risk can be controlled,
and the risk of the minimum-norm interpolating predictor approaches optimal
benchmarks. Moreover, through a detailed analysis of the bias term, we exhibit
model classes under which our upper bound on the excess risk approaches zero,
while the corresponding upper bound in the recent work arXiv:1906.11300
diverges. Furthermore, we show that the minimum-norm interpolating predictor
analyzed under the factor regression model, despite being model-agnostic and
devoid of tuning parameters, can have similar risk to predictors based on
principal components regression and ridge regression, and can improve over
LASSO based predictors, in the high-dimensional regime.
- Abstract（参考訳）: この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。
共分散行列の有効ランク $\Sigma$ がサンプルサイズ $n$ よりもはるかに大きい場合、そのリスクが応答を 0 で自明に予測するリスクに近づくため、min-norm補間予測器は望ましいものではないことを示す。
しかし、我々の詳細な有限サンプル解析は、この挙動が広く使われている因子回帰モデルに従って、回帰応答と特徴が低次元であるときに存在しないことを示した。
この一般的なモデルクラスの中では、$\Sigma$の有効ランクが$n$より小さいが、それでも$p \gg n$を許容する場合、バイアスと過剰リスクの分散項の両方を制御でき、最小ノルム補間予測器のリスクは最適化ベンチマークに近づく。
さらに、バイアス項の詳細な分析を通じて、過剰なリスクの上限がゼロに近づくモデルクラスを示し、それに対応する最近の作業であるarxiv: 1906.11300の上限が発散する。
さらに,因子回帰モデルの下で解析された最小ノルム補間予測器は,モデルに依存せず,チューニングパラメータを欠いているにもかかわらず,主成分回帰とリッジ回帰に基づく予測器と類似するリスクを有し,高次元環境下ではlassoに基づく予測器よりも改善できることを示す。
関連論文リスト
- Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。
我々は多種多様な高次元データにまたがって理論を検証する。
論文 参考訳（メタデータ） (2024-08-08T17:27:29Z) - Ridge interpolators in correlated factor regression models -- exact risk analysis [0.0]
我々は、相関型エンフェール回帰モデル(FRM)を考察し、古典的なリッジ補間器の性能を解析する。
我々は,すべてのキーモデルパラメータへの依存性を明確に示し,予測リスクのキャラクタリゼーションを提供する。
論文 参考訳（メタデータ） (2024-06-13T14:46:08Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Transfer Learning with Random Coefficient Ridge Regression [2.0813318162800707]
ランダム係数のリッジ回帰は、高次元設定における固定係数回帰の重要な代替となる。
本稿では,移動学習の設定におけるランダム係数リッジ回帰の推定と予測について考察する。
論文 参考訳（メタデータ） (2023-06-28T04:36:37Z) - Prediction Risk and Estimation Risk of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors [10.857775300638831]
より一般的な回帰誤差仮定の下で予測リスクと推定リスクについて検討する。
その結果,パラメータ化の利点は時系列,パネル,グループ化データにまで拡張できることが示唆された。
論文 参考訳（メタデータ） (2023-05-22T10:04:20Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:41:40Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Dimensionality reduction, regularization, and generalization in
overparameterized regressions [8.615625517708324]
主成分回帰(主成分回帰)としても知られるPCA-OLSは次元の減少によって回避できることを示す。
OLSは任意に敵の攻撃を受けやすいが,次元性低下はロバスト性を向上させることを示す。
その結果,プロジェクションがトレーニングデータに依存する手法は,トレーニングデータとは独立にプロジェクションが選択される手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-11-23T15:38:50Z) - Prediction in latent factor regression: Adaptive PCR and beyond [2.9439848714137447]
我々は、大きなクラスの予測子のリスクバウンドを確立するマスター定理を証明する。
主定理を用いて、最小ノルム補間予測器の既知のリスク境界を復元する。
理論的結果を裏付け,補完するための詳細なシミュレーション研究を締めくくった。
論文 参考訳（メタデータ） (2020-07-20T12:42:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。