論文の概要: Relation between PLS and OLS regression in terms of the eigenvalue
distribution of the regressor covariance matrix
- arxiv url: http://arxiv.org/abs/2312.01379v1
- Date: Sun, 3 Dec 2023 13:00:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 17:30:35.371469
- Title: Relation between PLS and OLS regression in terms of the eigenvalue
distribution of the regressor covariance matrix
- Title（参考訳）: 回帰器共分散行列の固有値分布におけるPLSとOLS回帰の関係
- Authors: David del Val (1), Jos\'e R. Berrendero (1 and 2), Alberto Su\'arez
(1) ((1) Universidad Aut\'onoma de Madrid UAM, (2) Instituto de Ciencias
Matem\'aticas ICMAT)
- Abstract要約: 部分最小二乗法 (partial least squares, PLS) は、化学工学の分野で導入された次元還元法である。
PLS回帰は、クリロフ部分空間に制限された最小二乗問題として定式化することができる。
私たちは$hatboldsymbolbeta;_mathrmPLSscriptscriptstyle (L)$の間の距離を分析する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Partial least squares (PLS) is a dimensionality reduction technique
introduced in the field of chemometrics and successfully employed in many other
areas. The PLS components are obtained by maximizing the covariance between
linear combinations of the regressors and of the target variables. In this
work, we focus on its application to scalar regression problems. PLS regression
consists in finding the least squares predictor that is a linear combination of
a subset of the PLS components. Alternatively, PLS regression can be formulated
as a least squares problem restricted to a Krylov subspace. This equivalent
formulation is employed to analyze the distance between
${\hat{\boldsymbol\beta}\;}_{\mathrm{PLS}}^{\scriptscriptstyle {(L)}}$, the PLS
estimator of the vector of coefficients of the linear regression model based on
$L$ PLS components, and $\hat{\boldsymbol \beta}_{\mathrm{OLS}}$, the one
obtained by ordinary least squares (OLS), as a function of $L$. Specifically,
${\hat{\boldsymbol\beta}\;}_{\mathrm{PLS}}^{\scriptscriptstyle {(L)}}$ is the
vector of coefficients in the aforementioned Krylov subspace that is closest to
$\hat{\boldsymbol \beta}_{\mathrm{OLS}}$ in terms of the Mahalanobis distance
with respect to the covariance matrix of the OLS estimate. We provide a bound
on this distance that depends only on the distribution of the eigenvalues of
the regressor covariance matrix. Numerical examples on synthetic and real-world
data are used to illustrate how the distance between
${\hat{\boldsymbol\beta}\;}_{\mathrm{PLS}}^{\scriptscriptstyle {(L)}}$ and
$\hat{\boldsymbol \beta}_{\mathrm{OLS}}$ depends on the number of clusters in
which the eigenvalues of the regressor covariance matrix are grouped.
- Abstract（参考訳）: 部分最小二乗法 (partial least squares, PLS) は、化学工学の分野で導入され、他の多くの分野で成功している。
PLS成分は、回帰器の線形結合と対象変数の共分散を最大化することにより得られる。
本研究では,スカラー回帰問題への応用に焦点を当てる。
PLS回帰は、PSSコンポーネントのサブセットの線形結合である最小二乗予測子を見つけることで構成される。
あるいは、pls回帰はクリロフ部分空間に制限された最小二乗問題として定式化することができる。
この同値な定式化は、${\hat{\boldsymbol\beta}\;}_{\mathrm{PLS}}^{\scriptstyle {(L)}}$、$L$ PLS成分に基づく線形回帰モデルの係数のベクトルのPSS推定子と$\hat{\boldsymbol \beta}_{\mathrm{OLS}}$、通常の最小二乗(OLS)関数として得られる$L$の間の距離を分析するために用いられる。
具体的には、${\hat{\boldsymbol\beta}\;}_{\mathrm{PLS}}^{\scriptscriptstyle {(L)}}$ は上記のクリロフ部分空間の係数のベクトルであり、その係数は OLS 推定の共分散行列に関してマハラノビス距離の点で$\hat{\boldsymbol \beta}_{\mathrm{OLS}}$に最も近い。
この距離の境界は、レグレッサー共分散行列の固有値の分布のみに依存する。
合成データと実世界のデータに関する数値的な例として、${\hat{\boldsymbol\beta}\;}_{\mathrm{pls}}^{\scriptscriptstyle {(l)}}$ と $\hat{\boldsymbol \beta}_{\mathrm{ols}}$ の間の距離が、レグレッサー共分散行列の固有値がグループ化されているクラスタの数に依存することを説明している。
関連論文リスト
- Regression for matrix-valued data via Kronecker products factorization [0.5156484100374059]
我々は、パラメータ $beta_1k サブセット Rep times q_1$ および $beta_2k サブセット Rep times q$ を推定するための推定アルゴリズム KRO-PRO-FAC を提案する。
シミュレーションおよび実データに関する数値的研究は,提案手法が既存の手法と比較して,推定誤差と予測精度の両方において競合的であることを示している。
論文 参考訳（メタデータ） (2024-04-30T02:44:41Z) - Dimension free ridge regression [10.434481202633458]
我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。
新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
論文 参考訳（メタデータ） (2022-10-16T16:01:05Z) - Near-optimal fitting of ellipsoids to random points [68.12685213894112]
楕円体をランダムな点に合わせるという基本的な問題は、低ランク行列分解、独立成分分析、主成分分析に関係している。
我々はこの予想を、ある$n = Omega(, d2/mathrmpolylog(d))$ に対する適合楕円体を構成することで対数的因子まで解決する。
我々の証明は、ある非標準確率行列の便利な分解を用いて、サンダーソン等最小二乗構成の実現可能性を示す。
論文 参考訳（メタデータ） (2022-08-19T18:00:34Z) - Polyak-Ruppert Averaged Q-Leaning is Statistically Efficient [90.14768299744792]
我々はPolyak-Ruppert 平均 Q-leaning (平均 Q-leaning) を用いた同期 Q-learning を$gamma$-discounted MDP で検討した。
繰り返し平均$barboldsymbolQ_T$に対して正規性を確立する。
要するに、我々の理論分析は、Q-Leaningの平均は統計的に効率的であることを示している。
論文 参考訳（メタデータ） (2021-12-29T14:47:56Z) - Minimax Optimal Regression over Sobolev Spaces via Laplacian Eigenmaps
on Neighborhood Graphs [25.597646488273558]
ラプラシアン固有写像(PCR-LE)を用いた主成分回帰の統計的性質について検討する。
PCR-LEは、近傍グラフラプラシアンの特定の固有ベクトルによって分散された部分空間に観測された応答のベクトルを投影することで機能する。
PCR-LEはソボレフ空間上のランダムな設計回帰に対して最小収束率を達成することを示す。
論文 参考訳（メタデータ） (2021-11-14T17:32:51Z) - Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。
本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。
スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文 参考訳（メタデータ） (2020-11-21T01:33:15Z) - Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。
提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。
本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
論文 参考訳（メタデータ） (2020-10-22T19:31:30Z) - Nonparametric Learning of Two-Layer ReLU Residual Units [22.870658194212744]
本稿では,線形整列ユニット(ReLU)を活性化した2層残基を学習するアルゴリズムについて述べる。
解析最小化器はそのパラメータと非線形性の観点から、正確な地上構造ネットワークを表現できる機能として層ワイドな目的を設計する。
我々は,アルゴリズムの統計的強い一貫性を証明し,実験によるアルゴリズムの堅牢性とサンプル効率を実証する。
論文 参考訳（メタデータ） (2020-08-17T22:11:26Z) - Optimal Combination of Linear and Spectral Estimators for Generalized
Linear Models [59.015960528781115]
最適に $hatboldsymbol xrm L$ と $hatboldsymbol xrm s$ を組み合わせる方法を示す。
我々は,$(boldsymbol x, hatboldsymbol xrm L, hatboldsymbol xrm s)$の制限分布を確立するために,Adroximate Message Passing (AMP)アルゴリズムの設計と解析を行う。
論文 参考訳（メタデータ） (2020-08-07T18:20:05Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。