論文の概要: The Lasso with general Gaussian designs with applications to hypothesis testing

• arxiv url: http://arxiv.org/abs/2007.13716v3
• Date: Tue, 19 Sep 2023 13:07:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 21:13:11.692648
• Title: The Lasso with general Gaussian designs with applications to hypothesis testing
• Title（参考訳）: 一般ガウス設計のラッソと仮説テストへの応用
• Authors: Michael Celentano, Andrea Montanari, Yuting Wei
• Abstract要約: ラッソは高次元回帰法である。 ラッソ推定器は、$n$と$p$の両方が大きい状態において正確に特徴づけられることを示す。
• 参考スコア（独自算出の注目度）: 21.342900543543816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Lasso is a method for high-dimensional regression, which is now commonly used when the number of covariates $p$ is of the same order or larger than the number of observations $n$. Classical asymptotic normality theory does not apply to this model due to two fundamental reasons: $(1)$ The regularized risk is non-smooth; $(2)$ The distance between the estimator $\widehat{\boldsymbol{\theta}}$ and the true parameters vector $\boldsymbol{\theta}^*$ cannot be neglected. As a consequence, standard perturbative arguments that are the traditional basis for asymptotic normality fail. On the other hand, the Lasso estimator can be precisely characterized in the regime in which both $n$ and $p$ are large and $n/p$ is of order one. This characterization was first obtained in the case of Gaussian designs with i.i.d. covariates: here we generalize it to Gaussian correlated designs with non-singular covariance structure. This is expressed in terms of a simpler ``fixed-design'' model. We establish non-asymptotic bounds on the distance between the distribution of various quantities in the two models, which hold uniformly over signals $\boldsymbol{\theta}^*$ in a suitable sparsity class and over values of the regularization parameter. As an application, we study the distribution of the debiased Lasso and show that a degrees-of-freedom correction is necessary for computing valid confidence intervals.
• Abstract（参考訳）: ラッソ(lasso)は、高次元回帰(high-dimensional regression)の方法であり、現在、共変量 $p$ が観測値 $n$ または観測値 $n$ よりも大きい場合に用いられる。 古典漸近正規性理論はこのモデルには適用されない: $(1)$ the regularized risk is non-smooth; $(2)$ the distance between the estimator $\widehat{\boldsymbol{\theta}}$ and the true parameters vector $\boldsymbol{\theta}^*$ は無視できない。 その結果、漸近正規性の伝統的な基礎である標準摂動論は失敗する。 一方、ラッソ推定器は、$n$ と $p$ の両方が大きく、$n/p$ が順序 1 であるような方法で正確に特徴付けられる。 このキャラクタリゼーションは、つまり共変量を持つガウス設計において初めて得られ、ここでは非特異共分散構造を持つガウス相関設計に一般化する。 これはより単純な ``fixed-design'' モデルで表現される。 この2つのモデルにおける様々な量の分布の間の距離の非漸近的境界を定式化パラメータの値と適切なスパシティクラスにおける信号$\boldsymbol{\theta}^*$に均一に保持する。 応用として、偏りのないラッソの分布を調査し、有効信頼区間を計算するためには自由度補正が必要であることを示す。

関連論文リスト

• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Stability of a Generalized Debiased Lasso with Applications to Resampling-Based Variable Selection [11.490578151974285]
  本稿では,デバイアス付きラッソ係数を更新するための近似式を提案する。 応用として、近似式により、変数選択アルゴリズムの複雑さを低減できることを示す。
  論文  参考訳（メタデータ） (2024-05-05T22:05:02Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Dimension free ridge regression [10.434481202633458]
  我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。 新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
  論文  参考訳（メタデータ） (2022-10-16T16:01:05Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• On Model Selection Consistency of Lasso for High-Dimensional Ising Models on Tree-like Graphs [13.14903445595385]
  近傍型最小絶対収縮・選択演算子(Lasso)を用いた高次元イジングモデル選択の問題点を考察する。 常磁性相の任意の木様グラフに対して、サンプルサイズ$n=Omega(d3logp)$で一貫したモデル選択が達成できることは厳密に証明されている。 ラッソの人気と効率性を考えると、厳密な解析はイジングモデル選択における実践的利用の理論的裏付けとなる。
  論文  参考訳（メタデータ） (2021-10-16T07:23:02Z)
• Optimal Sub-Gaussian Mean Estimation in $\mathbb{R}$ [5.457150493905064]
  ガウス下収束を考慮した新しい推定器を提案する。 我々の推定器はその分散に関する事前の知識を必要としない。 我々の推定器の構成と分析は、他の問題に一般化可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-11-17T02:47:24Z)
• The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
  我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。 この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-22T16:43:35Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。