論文の概要: Fast Debiasing of the LASSO Estimator

• arxiv url: http://arxiv.org/abs/2502.19825v1
• Date: Thu, 27 Feb 2025 06:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:59:02.787912
• Title: Fast Debiasing of the LASSO Estimator
• Title（参考訳）: LASSOエミュレータの高速脱バイアス
• Authors: Shuvayan Banerjee, James Saunderson, Radhendushka Srivastava, Ajit Rajwade,
• Abstract要約: 高次元スパース回帰では、textscLasso 推定器は優れた理論的保証を提供するが、偏りのある推定を生成することはよく知られている。 ランダムな準ガウス感知覚行列 $boldsymbolA$ に対する textscLasso 推定値について「脱バイアス法」を導入する。
• 参考スコア（独自算出の注目度）: 3.554868356768806
• License:
• Abstract: In high-dimensional sparse regression, the \textsc{Lasso} estimator offers excellent theoretical guarantees but is well-known to produce biased estimates. To address this, \cite{Javanmard2014} introduced a method to ``debias" the \textsc{Lasso} estimates for a random sub-Gaussian sensing matrix $\boldsymbol{A}$. Their approach relies on computing an ``approximate inverse" $\boldsymbol{M}$ of the matrix $\boldsymbol{A}^\top \boldsymbol{A}/n$ by solving a convex optimization problem. This matrix $\boldsymbol{M}$ plays a critical role in mitigating bias and allowing for construction of confidence intervals using the debiased \textsc{Lasso} estimates. However the computation of $\boldsymbol{M}$ is expensive in practice as it requires iterative optimization. In the presented work, we re-parameterize the optimization problem to compute a ``debiasing matrix" $\boldsymbol{W} := \boldsymbol{AM}^{\top}$ directly, rather than the approximate inverse $\boldsymbol{M}$. This reformulation retains the theoretical guarantees of the debiased \textsc{Lasso} estimates, as they depend on the \emph{product} $\boldsymbol{AM}^{\top}$ rather than on $\boldsymbol{M}$ alone. Notably, we provide a simple, computationally efficient, closed-form solution for $\boldsymbol{W}$ under similar conditions for the sensing matrix $\boldsymbol{A}$ used in the original debiasing formulation, with an additional condition that the elements of every row of $\boldsymbol{A}$ have uncorrelated entries. Also, the optimization problem based on $\boldsymbol{W}$ guarantees a unique optimal solution, unlike the original formulation based on $\boldsymbol{M}$. We verify our main result with numerical simulations.
• Abstract（参考訳）: 高次元スパース回帰では、 \textsc{Lasso} 推定器は優れた理論的保証を提供するが、偏りのある推定を生成することはよく知られている。 これを解決するために、 \cite{Javanmard2014} はランダムな準ガウス感覚行列 $\boldsymbol{A}$ に対する \textsc{Lasso} 推定値 ``debias" のメソッドを導入した。 彼らのアプローチは、凸最適化問題を解くことにより、行列 $\boldsymbol{A}^\top \boldsymbol{A}/n$ の ` <approximate inverse" $\boldsymbol{M}$ の計算に依存する。 この行列 $\boldsymbol{M}$ はバイアスを緩和し、デバイアス付き \textsc{Lasso} 推定を用いて信頼区間を構築するために重要な役割を果たす。 しかし、$\boldsymbol{M}$の計算は反復最適化を必要とするため、実際は高価である。 提案した研究において、最適化問題を再パラメータ化して ``debiasing matrix" $\boldsymbol{W} := \boldsymbol{AM}^{\top}$ を計算し、近似逆の $\boldsymbol{M}$ ではなく直接計算する。 この改定は、デバイアス化された \textsc{Lasso} 推定の理論的保証を保ち、それらは $\boldsymbol{M}$ のみではなく \emph{product} $\boldsymbol{AM}^{\top}$ に依存する。 特に、差分行列 $\boldsymbol{A}$ に対する同様の条件の下で、より単純で計算効率のよい閉形式解を、元のデバイアスの定式化で使われる $\boldsymbol{A}$ に対して提供し、さらに $\boldsymbol{A}$ の各行の要素が非相関なエントリを持つことを条件とした。 また、$\boldsymbol{W}$ に基づく最適化問題は、$\boldsymbol{M}$ に基づく元の定式化とは異なり、一意の最適解を保証する。 数値シミュレーションによる主な結果の検証を行う。

関連論文リスト

• Optimal Sketching for Residual Error Estimation for Matrix and Vector Norms [50.15964512954274]
  線形スケッチを用いた行列とベクトルノルムの残差誤差推定問題について検討する。 これは、前作とほぼ同じスケッチサイズと精度で、経験的にかなり有利であることを示す。 また、スパースリカバリ問題に対して$Omega(k2/pn1-2/p)$低いバウンダリを示し、これは$mathrmpoly(log n)$ factorまで厳密である。
  論文  参考訳（メタデータ） (2024-08-16T02:33:07Z)
• Solving Quadratic Systems with Full-Rank Matrices Using Sparse or Generative Priors [33.0212223058894]
  二次系$y_i=boldsymbol xtopboldsymbol A_iboldsymbol x, i=1,ldots,m$とフルランク行列$boldsymbol A_i$からの信号を回復する問題は、未割り当て距離幾何学やサブ波長イメージングなどの応用で頻繁に発生する。 本稿では、$mll n$ が $boldsymbol x$ の事前知識を取り入れた高次元の場合について述べる。
  論文  参考訳（メタデータ） (2023-09-16T16:00:07Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
  関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
  論文  参考訳（メタデータ） (2021-09-06T14:21:43Z)
• Self-training Converts Weak Learners to Strong Learners in Mixture Models [86.7137362125503]
  擬似ラベルの $boldsymbolbeta_mathrmpl$ が,最大$C_mathrmerr$ の分類誤差を達成可能であることを示す。 さらに、ロジスティックな損失に対して勾配降下を実行することで、ラベル付き例のみを使用して、分類誤差が$C_mathrmerr$で擬ラベルの $boldsymbolbeta_mathrmpl$ が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:59:16Z)
• Sparse sketches with small inversion bias [79.77110958547695]
  逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。 本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。 スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
  論文  参考訳（メタデータ） (2020-11-21T01:33:15Z)
• Extensions to the Proximal Distance Method of Constrained Optimization [7.813460653362097]
  損失 $f(boldsymbolx)$ を S$ の $boldsymbolx の形に制約する問題について検討する。 融合制約は、滑らかさ、疎さ、あるいはより一般的な制約パターンをキャプチャすることができる。
  論文  参考訳（メタデータ） (2020-09-02T03:32:41Z)
• Optimal Combination of Linear and Spectral Estimators for Generalized Linear Models [59.015960528781115]
  最適に $hatboldsymbol xrm L$ と $hatboldsymbol xrm s$ を組み合わせる方法を示す。 我々は,$(boldsymbol x, hatboldsymbol xrm L, hatboldsymbol xrm s)$の制限分布を確立するために,Adroximate Message Passing (AMP)アルゴリズムの設計と解析を行う。
  論文  参考訳（メタデータ） (2020-08-07T18:20:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。