論文の概要: Spectrum-Aware Adjustment: A New Debiasing Framework with Applications to Principal Components Regression

• arxiv url: http://arxiv.org/abs/2309.07810v1
• Date: Thu, 14 Sep 2023 15:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 12:23:34.369216
• Title: Spectrum-Aware Adjustment: A New Debiasing Framework with Applications to Principal Components Regression
• Title（参考訳）: spectrum-aware adjustment:主成分回帰への応用による新しいデバイアスフレームワーク
• Authors: Yufan Li, Pragya Sur
• Abstract要約: 我々は高次元線形回帰のための新しいデバイアス化フレームワークを導入する。 特徴量とサンプルの数が大小を問わず比較できるような,一般的な設定について検討する。 本手法は,自由度デバイアスをマージンで上回ることを示す。
• 参考スコア（独自算出の注目度）: 1.5863809575305419
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new debiasing framework for high-dimensional linear regression that bypasses the restrictions on covariate distributions imposed by modern debiasing technology. We study the prevalent setting where the number of features and samples are both large and comparable. In this context, state-of-the-art debiasing technology uses a degrees-of-freedom correction to remove shrinkage bias of regularized estimators and conduct inference. However, this method requires that the observed samples are i.i.d., the covariates follow a mean zero Gaussian distribution, and reliable covariance matrix estimates for observed features are available. This approach struggles when (i) covariates are non-Gaussian with heavy tails or asymmetric distributions, (ii) rows of the design exhibit heterogeneity or dependencies, and (iii) reliable feature covariance estimates are lacking. To address these, we develop a new strategy where the debiasing correction is a rescaled gradient descent step (suitably initialized) with step size determined by the spectrum of the sample covariance matrix. Unlike prior work, we assume that eigenvectors of this matrix are uniform draws from the orthogonal group. We show this assumption remains valid in diverse situations where traditional debiasing fails, including designs with complex row-column dependencies, heavy tails, asymmetric properties, and latent low-rank structures. We establish asymptotic normality of our proposed estimator (centered and scaled) under various convergence notions. Moreover, we develop a consistent estimator for its asymptotic variance. Lastly, we introduce a debiased Principal Component Regression (PCR) technique using our Spectrum-Aware approach. In varied simulations and real data experiments, we observe that our method outperforms degrees-of-freedom debiasing by a margin.
• Abstract（参考訳）: 我々は,現代のデバイアス技術が与える共変量分布の制約を回避し,高次元線形回帰のための新しいデバイアスフレームワークを提案する。 我々は,特徴数とサンプル数が大小ともに比較可能な,一般的な設定について検討する。 この文脈では、最先端のデバイアス技術は自由度補正を用いて正規化推定器の収縮バイアスを除去し、推論を行う。 しかし、この方法では、観測されたサンプルは、すなわち、共変量は平均的なガウス分布に従っており、観測された特徴に対する信頼できる共分散行列推定が利用可能である。 このアプローチが苦労するのは (i)共変量は、重い尾または非対称分布を持つ非ガウシアンである。 (ii)意匠の行は、異質性又は依存関係を示し、 (iii)信頼性の高い特徴共分散推定が不足している。 そこで我々は,デバイアス補正を,サンプル共分散行列のスペクトルによって決定されるステップサイズで(好ましくは初期化)再スケールした勾配降下ステップとする新しい戦略を開発した。 以前の仕事とは異なり、この行列の固有ベクトルは直交群から一様引き分けられると仮定する。 この仮定は、複雑な行列依存、重み付き尾翼、非対称性、潜伏低ランク構造を含む、従来のデバイアスが失敗する様々な状況において有効であることを示す。 提案する推定器の漸近正規性(中心とスケール)を様々な収束概念の下で確立する。 さらに,その漸近的分散に対する一貫した推定器を開発した。 最後に,Spectrum-Awareアプローチを用いた脱バイアス主成分回帰(PCR)手法を提案する。 各種シミュレーションおよび実データ実験において,本手法が自由度デバイアスをマージンで上回ることを示した。

関連論文リスト

• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
  動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。 提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。 以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2～3桁効率が良いことが示された。
  論文  参考訳（メタデータ） (2023-11-08T21:19:52Z)
• Dual-sPLS: a family of Dual Sparse Partial Least Squares regressions for feature selection and prediction with tunable sparsity; evaluation on simulated and near-infrared (NIR) data [1.6099403809839032]
  この論文で示された変種であるDual-sPLSは、古典的なPLS1アルゴリズムを一般化する。 正確な予測と効率的な解釈のバランスを提供する。 コードはRでオープンソースパッケージとして提供される。
  論文  参考訳（メタデータ） (2023-01-17T21:50:35Z)
• Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
  混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。 我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
  論文  参考訳（メタデータ） (2022-11-21T11:35:25Z)
• The Directional Bias Helps Stochastic Gradient Descent to Generalize in Kernel Regression Models [7.00422423634143]
  非パラメトリック統計学におけるグラディエント・Descent (SGD) アルゴリズムについて検討する。 線形回帰設定で知られているSGDの方向性バイアス特性は、カーネル回帰に一般化される。
  論文  参考訳（メタデータ） (2022-04-29T19:44:01Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。