論文の概要: Spurious Correlations in High Dimensional Regression: The Roles of Regularization, Simplicity Bias and Over-Parameterization

• arxiv url: http://arxiv.org/abs/2502.01347v1
• Date: Mon, 03 Feb 2025 13:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:59.255592
• Title: Spurious Correlations in High Dimensional Regression: The Roles of Regularization, Simplicity Bias and Over-Parameterization
• Title（参考訳）: 高次元回帰におけるスパージャ相関--正則化, 単純度バイアス, 過パラメータ化の役割
• Authors: Simone Bombari, Marco Mondelli,
• Abstract要約: 学習モデルは、トレーニングデータ内の非予測的特徴と関連するラベルとの間に急激な相関関係があることが示されている。 我々は、データ共分散とリッジ正規化の強さの点から、線形回帰によって学習されたスプリアス相関の量$C$を定量化する。
• 参考スコア（独自算出の注目度）: 19.261178173399784
• License:
• Abstract: Learning models have been shown to rely on spurious correlations between non-predictive features and the associated labels in the training data, with negative implications on robustness, bias and fairness. In this work, we provide a statistical characterization of this phenomenon for high-dimensional regression, when the data contains a predictive core feature $x$ and a spurious feature $y$. Specifically, we quantify the amount of spurious correlations $C$ learned via linear regression, in terms of the data covariance and the strength $\lambda$ of the ridge regularization. As a consequence, we first capture the simplicity of $y$ through the spectrum of its covariance, and its correlation with $x$ through the Schur complement of the full data covariance. Next, we prove a trade-off between $C$ and the in-distribution test loss $L$, by showing that the value of $\lambda$ that minimizes $L$ lies in an interval where $C$ is increasing. Finally, we investigate the effects of over-parameterization via the random features model, by showing its equivalence to regularized linear regression. Our theoretical results are supported by numerical experiments on Gaussian, Color-MNIST, and CIFAR-10 datasets.
• Abstract（参考訳）: 学習モデルは、トレーニングデータにおける非予測的特徴と関連するラベルの間に急激な相関関係があることが示されている。 本研究では、この現象を高次元回帰のために統計的に解析し、データに予測コア機能$x$とスプリアス機能$y$を含む。 具体的には、データ共分散とリッジ正則化の強さの点から、線形回帰によって学習されたスプリアス相関の量$C$を定量化する。 その結果、まず共分散のスペクトルを通して$y$の単純さと、全データの共分散のシュア補数を通して$x$との相関を捉える。 次に、$C$と$L$とのトレードオフを証明し、$L$を最小化する$\lambda$の値が$C$が増加する間隔にあることを示す。 最後に、正規化線形回帰に同値を示すことにより、ランダム特徴モデルによる過パラメータ化の効果について検討する。 我々の理論結果は、ガウス、カラーMNIST、CIFAR-10データセットに関する数値実験によって裏付けられている。

関連論文リスト

• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Efficient Truncated Linear Regression with Unknown Noise Variance [26.870279729431328]
  雑音のばらつきが不明な場合に, 線形回帰の計算的, 統計的に効率的な推定器を提案する。 提案手法は, トランキャット標本の負の類似度に対して, プロジェクテッド・グラディエント・ディフレッシュを効果的に実装することに基づく。
  論文  参考訳（メタデータ） (2022-08-25T12:17:37Z)
• Observable adjustments in single-index models for regularized M-estimators [3.5353632767823506]
  サンプルサイズが$n$ と dimension$p$ がともに増加するレジームでは、$hatbeta$ と予測値 $Xhatbeta$ の実証分布の振る舞いが以前特徴づけられた。 本稿では、$hatbeta$と$Xhatbeta$の実証分布を記述するために異なる理論を開発する。
  論文  参考訳（メタデータ） (2022-04-14T14:32:02Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Query Complexity of Least Absolute Deviation Regression via Robust Uniform Convergence [26.51921319084656]
  最小絶対偏差回帰のクエリ複雑性は、対数係数まで$Theta(d/epsilon2)$であることを示す。 我々は、経験的損失に対する新しい近似保証である、頑健な一様収束の概念を導入する。
  論文  参考訳（メタデータ） (2021-02-03T22:54:27Z)
• Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
  計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。 提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。 本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
  論文  参考訳（メタデータ） (2020-10-22T19:31:30Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。