論文の概要: Prediction in latent factor regression: Adaptive PCR and beyond
- arxiv url: http://arxiv.org/abs/2007.10050v2
- Date: Fri, 23 Apr 2021 16:34:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 13:13:44.632508
- Title: Prediction in latent factor regression: Adaptive PCR and beyond
- Title（参考訳）: 潜伏因子回帰における予測:適応pcrとその周辺
- Authors: Xin Bing, Florentina Bunea, Seth Strimas-Mackey, Marten Wegkamp
- Abstract要約: 我々は、大きなクラスの予測子のリスクバウンドを確立するマスター定理を証明する。
主定理を用いて、最小ノルム補間予測器の既知のリスク境界を復元する。
理論的結果を裏付け,補完するための詳細なシミュレーション研究を締めくくった。
- 参考スコア（独自算出の注目度）: 2.9439848714137447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work is devoted to the finite sample prediction risk analysis of a class
of linear predictors of a response $Y\in \mathbb{R}$ from a high-dimensional
random vector $X\in \mathbb{R}^p$ when $(X,Y)$ follows a latent factor
regression model generated by a unobservable latent vector $Z$ of dimension
less than $p$. Our primary contribution is in establishing finite sample risk
bounds for prediction with the ubiquitous Principal Component Regression (PCR)
method, under the factor regression model, with the number of principal
components adaptively selected from the data -- a form of theoretical guarantee
that is surprisingly lacking from the PCR literature. To accomplish this, we
prove a master theorem that establishes a risk bound for a large class of
predictors, including the PCR predictor as a special case. This approach has
the benefit of providing a unified framework for the analysis of a wide range
of linear prediction methods, under the factor regression setting. In
particular, we use our main theorem to recover known risk bounds for the
minimum-norm interpolating predictor, which has received renewed attention in
the past two years, and a prediction method tailored to a subclass of factor
regression models with identifiable parameters. This model-tailored method can
be interpreted as prediction via clusters with latent centers.
To address the problem of selecting among a set of candidate predictors, we
analyze a simple model selection procedure based on data-splitting, providing
an oracle inequality under the factor model to prove that the performance of
the selected predictor is close to the optimal candidate. We conclude with a
detailed simulation study to support and complement our theoretical results.
- Abstract（参考訳）: この研究は、高次元確率ベクトル $x\in \mathbb{r}^p$ when $(x,y)$ からの応答 $y\in \mathbb{r}$ の線形予測子の有限サンプル予測リスク解析に費やされる。
我々の主な貢献は、因子回帰モデルの下で、ユビキタスプライマリコンポーネント回帰(PCR)法による予測のための有限サンプルリスク境界を確立することであり、データから適応的に選択された主成分の数は、PCR文献から驚くほど欠落している理論的保証の形式である。
これを実現するために,pcr予測器を特殊ケースとして含む,多数の予測器のリスクバウンドを確立するマスター定理を証明した。
このアプローチは、係数回帰設定の下で、幅広い線形予測手法を解析するための統一的なフレームワークを提供することの利点がある。
特に,過去2年間に新たな注目を集めてきた最小ノルム補間予測器の既知のリスク境界と,パラメータを同定可能な因子回帰モデルのサブクラスに合わせた予測手法の回復に主定理を用いる。
このモデル調整法は、潜在中心を持つクラスタによる予測と解釈できる。
候補予測器の集合の中から選択する問題に対処するため,データ分割に基づく簡単なモデル選択手順を解析し,因子モデルの下でオラクルの不等式を提供し,選択した予測器の性能が最適候補に近いことを示す。
理論的結果を裏付け,補完するための詳細なシミュレーション研究を締めくくった。
関連論文リスト
- Progression: an extrapolation principle for regression [0.0]
本稿では,新しい統計外挿原理を提案する。
これは、予測器とトレーニング予測器のサンプルの境界における応答との単純な関係を仮定する。
我々の半パラメトリック法である進行法は、この外挿原理を活用し、トレーニングデータ範囲を超えた近似誤差の保証を提供する。
論文 参考訳（メタデータ） (2024-10-30T17:29:51Z) - Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
生成モデルは出力に対する厳密な統計的保証を欠いている。
厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。
このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
論文 参考訳（メタデータ） (2024-10-02T15:26:52Z) - Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。
我々は多種多様な高次元データにまたがって理論を検証する。
論文 参考訳（メタデータ） (2024-08-08T17:27:29Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation [14.194212772887699]
本研究では,高次元ランダム効果線形モデルの枠組みにおけるメタラーニングについて考察する。
本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な振る舞いを示す。
トレーニングタスクのデータに基づいて,逆回帰係数を推定する手法を提案し,解析する。
論文 参考訳（メタデータ） (2024-03-27T21:18:43Z) - Conformalized Selective Regression [2.3964255330849356]
共形予測を利用した選択回帰手法を提案する。
提案手法は, 選択回帰に適合し, 複数の最先端ベースラインに対して有利であることを示す。
論文 参考訳（メタデータ） (2024-02-26T04:43:50Z) - Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。
我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
論文 参考訳（メタデータ） (2023-10-12T10:56:25Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Transfer Learning with Random Coefficient Ridge Regression [2.0813318162800707]
ランダム係数のリッジ回帰は、高次元設定における固定係数回帰の重要な代替となる。
本稿では,移動学習の設定におけるランダム係数リッジ回帰の推定と予測について考察する。
論文 参考訳（メタデータ） (2023-06-28T04:36:37Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。
主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
論文 参考訳（メタデータ） (2020-02-06T22:08:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。