論文の概要: Stability of a Generalized Debiased Lasso with Applications to Resampling-Based Variable Selection

• arxiv url: http://arxiv.org/abs/2405.03063v1
• Date: Sun, 5 May 2024 22:05:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 15:14:27.635679
• Title: Stability of a Generalized Debiased Lasso with Applications to Resampling-Based Variable Selection
• Title（参考訳）: 一般化デバイアスラッソの安定性と再サンプリングに基づく可変選択への応用
• Authors: Jingbo Liu,
• Abstract要約: 本稿では,デバイアス付きラッソ係数を更新するための近似式を提案する。 応用として、近似式により、変数選択アルゴリズムの複雑さを低減できることを示す。
• 参考スコア（独自算出の注目度）: 11.490578151974285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Suppose that we first apply the Lasso to a design matrix, and then update one of its columns. In general, the signs of the Lasso coefficients may change, and there is no closed-form expression for updating the Lasso solution exactly. In this work, we propose an approximate formula for updating a debiased Lasso coefficient. We provide general nonasymptotic error bounds in terms of the norms and correlations of a given design matrix's columns, and then prove asymptotic convergence results for the case of a random design matrix with i.i.d.\ sub-Gaussian row vectors and i.i.d.\ Gaussian noise. Notably, the approximate formula is asymptotically correct for most coordinates in the proportional growth regime, under the mild assumption that each row of the design matrix is sub-Gaussian with a covariance matrix having a bounded condition number. Our proof only requires certain concentration and anti-concentration properties to control various error terms and the number of sign changes. In contrast, rigorously establishing distributional limit properties (e.g.\ Gaussian limits for the debiased Lasso) under similarly general assumptions has been considered open problem in the universality theory. As applications, we show that the approximate formula allows us to reduce the computation complexity of variable selection algorithms that require solving multiple Lasso problems, such as the conditional randomization test and a variant of the knockoff filter.
• Abstract（参考訳）: まず最初にLassoを設計行列に適用し、次にその列の1つを更新する。 一般に、ラッソ係数の符号は変化し、ラッソ解を正確に更新するための閉形式表現は存在しない。 そこで本研究では,デバイアス付きラッソ係数を更新するための近似式を提案する。 我々は、与えられた設計行列の列のノルムと相関の観点で一般的な漸近誤差境界を提供し、次に、サブガウスの行ベクトルとガウスの雑音を持つランダムな設計行列の場合の漸近収束結果を証明した。 特に、設計行列の各行が、有界な条件数を持つ共分散行列を持つ準ガウス的であるという穏やかな仮定の下で、近似式は比例成長状態のほとんどの座標に対して漸近的に正しい。 我々の証明は、様々な誤り項と符号数を制御するために、特定の濃度と反集中性しか必要としない。 対照的に、同様に一般的な仮定の下で分布極限性(英語版)(e g \ Gaussian limit for the debiased Lasso)を厳密に確立することは、普遍性理論において開問題とみなされている。 応用として、近似式により、条件付きランダム化テストやノックオフフィルタの変種など、複数のラッソ問題の解法を必要とする変数選択アルゴリズムの計算複雑性を低減できることを示す。

関連論文リスト

• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Near optimal sample complexity for matrix and tensor normal models via geodesic convexity [5.191641077435773]
  いくつかの自然測度において、最大極大推定器(MLE)によって達成された誤差に対する漸近的境界を示す。 サンプルの複雑性境界と同じ条件下では、フリップフロップアルゴリズム(英語版)として知られるMLEを反復的に計算する手法が高い確率で線形に収束することを示す。
  論文  参考訳（メタデータ） (2021-10-14T17:47:00Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Fundamental Linear Algebra Problem of Gaussian Inference [14.670851095242451]
  ガウス推論の基本線形代数問題(FLAPOGI)を述べる。 我々はグローバルなソリューションを提供し、エージェント間で並列に計算されるローカルメッセージパッシングを使って実装できるローカルバージョンを提供する。 信念の伝播とは対照的に、我々の局所的なスキームは平均と所望の共分散量の両方に収束することが保証されている。
  論文  参考訳（メタデータ） (2020-10-15T21:09:17Z)
• The Lasso with general Gaussian designs with applications to hypothesis testing [21.342900543543816]
  ラッソは高次元回帰法である。 ラッソ推定器は、$n$と$p$の両方が大きい状態において正確に特徴づけられることを示す。
  論文  参考訳（メタデータ） (2020-07-27T17:48:54Z)
• Fused-Lasso Regularized Cholesky Factors of Large Nonstationary Covariance Matrices of Longitudinal Data [0.0]
  大きな共分散行列のコレスキー因子のサブ対角線の滑らかさは、時系列および長手データに対する自己回帰モデルの非定常度の度合いと密接に関連している。 行ごとに分離するColesky因子のスパース推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-22T02:38:16Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。