論文の概要: Lasso with Latents: Efficient Estimation, Covariate Rescaling, and
Computational-Statistical Gaps
- arxiv url: http://arxiv.org/abs/2402.15409v1
- Date: Fri, 23 Feb 2024 16:16:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 14:02:14.725545
- Title: Lasso with Latents: Efficient Estimation, Covariate Rescaling, and
Computational-Statistical Gaps
- Title（参考訳）: lasso with latents:効率的な推定、共変量再スケーリング、計算統計的ギャップ
- Authors: Jonathan Kelner, Frederic Koehler, Raghu Meka, Dhruv Rohatgi
- Abstract要約: 本研究では、観測されていない潜伏変数から強い相関関係が生じる自然なスパース線形回帰設定を提案する。
この設定では、強い相関関係に起因する問題を解析し、驚くほど単純な修正を設計する。
結果として生じる「再スケールされたラッソ」アルゴリズムのサンプルの複雑さは、(最悪の場合)下層の信号の間隔に二次的に依存する。
- 参考スコア（独自算出の注目度）: 29.13944209460543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well-known that the statistical performance of Lasso can suffer
significantly when the covariates of interest have strong correlations. In
particular, the prediction error of Lasso becomes much worse than
computationally inefficient alternatives like Best Subset Selection. Due to a
large conjectured computational-statistical tradeoff in the problem of sparse
linear regression, it may be impossible to close this gap in general.
In this work, we propose a natural sparse linear regression setting where
strong correlations between covariates arise from unobserved latent variables.
In this setting, we analyze the problem caused by strong correlations and
design a surprisingly simple fix. While Lasso with standard normalization of
covariates fails, there exists a heterogeneous scaling of the covariates with
which Lasso will suddenly obtain strong provable guarantees for estimation.
Moreover, we design a simple, efficient procedure for computing such a "smart
scaling."
The sample complexity of the resulting "rescaled Lasso" algorithm incurs (in
the worst case) quadratic dependence on the sparsity of the underlying signal.
While this dependence is not information-theoretically necessary, we give
evidence that it is optimal among the class of polynomial-time algorithms, via
the method of low-degree polynomials. This argument reveals a new connection
between sparse linear regression and a special version of sparse PCA with a
near-critical negative spike. The latter problem can be thought of as a
real-valued analogue of learning a sparse parity. Using it, we also establish
the first computational-statistical gap for the closely related problem of
learning a Gaussian Graphical Model.
- Abstract（参考訳）: ラッソの統計性能は、興味の共変分が強い相関関係を持つ場合、著しく低下することが知られている。
特に、Lassoの予測誤差は、Best Subset Selectionのような計算的に非効率な代替よりもはるかに悪化する。
疎線型回帰問題における計算統計学の大規模なトレードオフのため、このギャップを一般に埋めることは不可能である。
本研究では,非観測潜伏変数から共変量間の強い相関が生じる自然なスパース線形回帰設定を提案する。
この設定では,強い相関に起因する問題を分析し,驚くほど簡単な修正をデザインする。
共変量体の標準正規化を伴うラッソは失敗するが、ラッソが突然、推定の証明可能な強い保証を得るような共変量体の異種スケーリングが存在する。
さらに、我々は「スマートスケーリング」のような単純な効率的な計算手順を設計する。結果として生じる「再スケールラッソ」アルゴリズムのサンプル複雑さは、基礎となる信号の空間性に二次的に依存する(最悪の場合)。
この依存は情報理論上は必要ないが、低次多項式の手法によって多項式時間アルゴリズムのクラスの中で最適であることが証明される。
この議論は、スパース線形回帰と、ほぼ負の負のスパイクを持つスパースPCAの特別なバージョンとの新たな接続を明らかにする。
後者の問題はスパースパリティを学習する実数値のアナログと考えることができる。
また,ガウス図形モデルを学習する際の密接に関連する問題に対して,最初の計算統計的ギャップを確立する。
関連論文リスト
- Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳（メタデータ） (2023-12-06T20:58:07Z) - Feature Adaptation for Sparse Linear Regression [20.923321050404827]
スパース線形回帰は高次元統計学における中心的な問題である。
少数の近似依存を許容するアルゴリズムを提供する。
我々のフレームワークは、疎線形回帰のためのより広範な機能適応のフレームワークに適合する。
論文 参考訳（メタデータ） (2023-05-26T12:53:13Z) - Efficient Graph Laplacian Estimation by Proximal Newton [12.05527862797306]
グラフ学習問題は、精度行列の最大極大推定(MLE)として定式化することができる。
いくつかのアルゴリズム的特徴を利用した効率的な解法を得るための2次手法を開発した。
論文 参考訳（メタデータ） (2023-02-13T15:13:22Z) - Scalable Gaussian-process regression and variable selection using
Vecchia approximations [3.4163060063961255]
ヴェッキアをベースとしたミニバッチサブサンプリングは、偏りのない勾配推定器を提供する。
偏りのない勾配推定器を提供するVecchiaベースのミニバッチサブサンプリングを提案する。
論文 参考訳（メタデータ） (2022-02-25T21:22:38Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳（メタデータ） (2021-04-13T23:21:01Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Sparse Feature Selection Makes Batch Reinforcement Learning More Sample
Efficient [62.24615324523435]
本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。
候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
論文 参考訳（メタデータ） (2020-11-08T16:48:02Z) - Robust regression with covariate filtering: Heavy tails and adversarial
contamination [6.939768185086755]
より強い汚染モデルにおいて,ハマー回帰,最小トリミング正方形,最小絶対偏差推定器を同時に計算および統計的に効率的に推定する方法を示す。
この設定では、ハマー回帰推定器がほぼ最適誤差率を達成するのに対し、最小のトリミング正方形と最小の絶対偏差推定器は、後処理ステップを適用した後、ほぼ最適誤差を達成することができる。
論文 参考訳（メタデータ） (2020-09-27T22:48:48Z) - Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap [4.142720557665472]
リッジレグレッションは、デバイアスとしきい値の設定の後、Lassoに対していくつかの利点をもたらすので、見直す価値があるかもしれない。
本稿では,デバイアス付き及びしきい値付きリッジ回帰法を定義し,一貫性とガウス近似の定理を証明した。
推定に加えて予測の問題も考慮し,予測間隔に合わせた新しいハイブリッドブートストラップアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-17T05:04:10Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。