論文の概要: Spectrum-Aware Adjustment: A New Debiasing Framework with Applications
to Principal Component Regression
- arxiv url: http://arxiv.org/abs/2309.07810v2
- Date: Tue, 17 Oct 2023 03:10:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 20:39:15.305536
- Title: Spectrum-Aware Adjustment: A New Debiasing Framework with Applications
to Principal Component Regression
- Title(参考訳): spectrum-aware adjustment:主成分回帰への応用による新しいデバイアスフレームワーク
- Authors: Yufan Li, Pragya Sur
- Abstract要約: 我々は高次元線形回帰のための新しいデバイアス化フレームワークを導入する。
特徴量とサンプルの数が大小を問わず比較できるような,一般的な設定について検討する。
本手法は,自由度デバイアスをマージンで上回ることを示す。
- 参考スコア(独自算出の注目度): 1.5863809575305419
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new debiasing framework for high-dimensional linear regression
that bypasses the restrictions on covariate distributions imposed by modern
debiasing technology. We study the prevalent setting where the number of
features and samples are both large and comparable. In this context,
state-of-the-art debiasing technology uses a degrees-of-freedom correction to
remove the shrinkage bias of regularized estimators and conduct inference.
However, this method requires that the observed samples are i.i.d., the
covariates follow a mean zero Gaussian distribution, and reliable covariance
matrix estimates for observed features are available. This approach struggles
when (i) covariates are non-Gaussian with heavy tails or asymmetric
distributions, (ii) rows of the design exhibit heterogeneity or dependencies,
and (iii) reliable feature covariance estimates are lacking.
To address these, we develop a new strategy where the debiasing correction is
a rescaled gradient descent step (suitably initialized) with step size
determined by the spectrum of the sample covariance matrix. Unlike prior work,
we assume that eigenvectors of this matrix are uniform draws from the
orthogonal group. We show this assumption remains valid in diverse situations
where traditional debiasing fails, including designs with complex row-column
dependencies, heavy tails, asymmetric properties, and latent low-rank
structures. We establish asymptotic normality of our proposed estimator
(centered and scaled) under various convergence notions. Moreover, we develop a
consistent estimator for its asymptotic variance. Lastly, we introduce a
debiased Principal Components Regression (PCR) technique using our
Spectrum-Aware approach. In varied simulations and real data experiments, we
observe that our method outperforms degrees-of-freedom debiasing by a margin.
- Abstract(参考訳): 我々は,現代のデバイアス技術が与える共変量分布の制約を回避し,高次元線形回帰のための新しいデバイアスフレームワークを提案する。
我々は,特徴数とサンプル数が大小ともに比較可能な,一般的な設定について検討する。
この文脈では、最先端のデバイアス技術は自由度補正を用いて正規化推定器の収縮バイアスを除去し、推論を行う。
しかし、この方法では、観測されたサンプルは、すなわち、共変量は平均的なガウス分布に従っており、観測された特徴に対する信頼できる共分散行列推定が利用可能である。
このアプローチが苦労するのは
(i)共変量は、重い尾または非対称分布を持つ非ガウシアンである。
(ii)意匠の行は、異質性又は依存関係を示し、
(iii)信頼性の高い特徴共分散推定が不足している。
そこで我々は,デバイアス補正を,サンプル共分散行列のスペクトルによって決定されるステップサイズで(好ましくは初期化)再スケールした勾配降下ステップとする新しい戦略を開発した。
以前の仕事とは異なり、この行列の固有ベクトルは直交群から一様引き分けられると仮定する。
この仮定は、複雑な行列依存、重み付き尾翼、非対称性、潜伏低ランク構造を含む、従来のデバイアスが失敗する様々な状況において有効であることを示す。
提案する推定器の漸近正規性(中心とスケール)を様々な収束概念の下で確立する。
さらに,その漸近的分散に対する一貫した推定器を開発した。
最後に,Spectrum-Awareアプローチを用いた脱バイアス主成分回帰(PCR)手法を提案する。
各種シミュレーションおよび実データ実験において,本手法が自由度デバイアスをマージンで上回ることを示した。
関連論文リスト
- Convex Parameter Estimation of Perturbed Multivariate Generalized
Gaussian Distributions [18.95928707619676]
本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。
提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。
実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
論文 参考訳(メタデータ) (2023-12-12T18:08:04Z) - Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。
我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
論文 参考訳(メタデータ) (2023-10-12T10:56:25Z) - Multi-Fidelity Covariance Estimation in the Log-Euclidean Geometry [0.0]
対称正定値多様体の対数ユークリッド幾何学を利用する共分散行列の多値推定器を導入する。
固定予算が与えられた推定器の平均二乗誤差を最小化する最適サンプル割り当て方式を開発した。
物理アプリケーションからのデータによるアプローチの評価は、ベンチマークと比較すると、より正確なメトリック学習と1桁以上のスピードアップを示している。
論文 参考訳(メタデータ) (2023-01-31T16:33:46Z) - Reliable amortized variational inference with physics-based latent
distribution correction [0.4588028371034407]
ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。
このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。
補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
論文 参考訳(メタデータ) (2022-07-24T02:38:54Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Efficient MCMC Sampling for Bayesian Matrix Factorization by Breaking
Posterior Symmetries [1.3858051019755282]
本稿では、これらの対称性を確実に破り、精度を維持/改善する事前選択に対する簡単な修正を提案する。
非ゼロ線形独立先行手段を用いることで,MCMC試料の自己相関が著しく低下し,再建誤差の低減につながる可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-08T00:25:48Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。