論文の概要: Mixture model for designs in high dimensional regression and the LASSO
- arxiv url: http://arxiv.org/abs/1210.4762v3
- Date: Tue, 19 Dec 2023 20:54:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-24 17:54:08.399367
- Title: Mixture model for designs in high dimensional regression and the LASSO
- Title(参考訳): 高次元回帰設計のための混合モデルとLASSO
- Authors: Mohamed Ibrahim Assoweh, Emmanuel Caron and St\'ephane Chr\'etien
- Abstract要約: LASSOは、回帰モデル bean y & = & Xbeta + z, eean における変数選択の技法である。
本稿では,カラムの潜在的クラスタ化の性質を自然な方法で捉えることができる設計行列の混合モデルを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The LASSO is a recent technique for variable selection in the regression
model \bean y & = & X\beta + z, \eean where $X\in \R^{n\times p}$ and $z$ is a
centered gaussian i.i.d. noise vector $\mathcal N(0,\sigma^2I)$. The LASSO has
been proved to achieve remarkable properties such as exact support recovery of
sparse vectors when the columns are sufficently incoherent and low prediction
error under even less stringent conditions. However, many matrices do not
satisfy small coherence in practical applications and the LASSO estimator may
thus suffer from what is known as the slow rate regime.
The goal of the present paper is to study the LASSO from a slightly different
perspective by proposing a mixture model for the design matrix which is able to
capture in a natural way the potentially clustered nature of the columns in
many practical situations. In this model, the columns of the design matrix are
drawn from a Gaussian mixture model. Instead of requiring incoherence for the
design matrix $X$, we only require incoherence of the much smaller matrix of
the mixture's centers.
Our main result states that $X\beta$ can be estimated with the same precision
as for incoherent designs except for a correction term depending on the maximal
variance in the mixture model.
- Abstract(参考訳): lasso は回帰モデル \bean y & = & x\beta + z, \eean ここで $x\in \r^{n\times p}$ と $z$ は中心ガウス型 i.i.d. 雑音ベクトル $\mathcal n(0,\sigma^2i)$ である。
LASSOは、円柱が十分不整合であり、さらに少ない拘束条件下での予測誤差が低いとき、スパースベクトルの正確な支持回復のような顕著な特性を達成することが証明されている。
しかし、多くの行列は実用上小さなコヒーレンスを満たさないため、LASSO推定器は低速状態と呼ばれるものに悩まされる可能性がある。
本研究の目的は,様々な状況下で列の潜在的クラスタ化の性質を自然な方法で捉えることができる設計行列の混合モデルを提案することで,LASSOを若干異なる視点から研究することである。
このモデルでは、設計行列の列はガウス混合モデルから引き出される。
設計行列に$X$の非コヒーレンスを必要とする代わりに、混合中心のはるかに小さな行列の非コヒーレンスしか必要としない。
我々の主な結果は、混合モデルの最大分散に依存する補正項を除いて、不整合設計の場合と同じ精度で$X\beta$を推定できることを示している。
関連論文リスト
- Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳(メタデータ) (2022-10-21T13:19:45Z) - Dimension free ridge regression [12.906795470468484]
我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。
新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
論文 参考訳(メタデータ) (2022-10-16T16:01:05Z) - On the well-spread property and its relation to linear regression [4.619541348328937]
頑健な線形回帰モデルにおけるパラメータベクトルの一貫した回復は情報理論上不可能であることを示す。
与えられた$n$-by-d$行列が、周囲の次元で観測回数が二次的である場合、適切に証明できることが示される。
論文 参考訳(メタデータ) (2022-06-16T11:17:44Z) - Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。
変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。
WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
論文 参考訳(メタデータ) (2022-03-02T15:36:44Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-02-23T02:39:04Z) - Statistical limits of dictionary learning: random matrix theory and the
spectral replica method [28.54289139061295]
ベイズ最適設定における行列記述と辞書学習の複雑なモデルについて考察する。
本稿では, 統計力学とランダム行列理論, スペクトル複製法を組み合わせた新しいレプリカ法を提案する。
論文 参考訳(メタデータ) (2021-09-14T12:02:32Z) - Non-PSD Matrix Sketching with Applications to Regression and
Optimization [56.730993511802865]
非PSDおよび2乗根行列の次元削減法を提案する。
複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
論文 参考訳(メタデータ) (2021-06-16T04:07:48Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳(メタデータ) (2020-10-19T07:15:38Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-30T19:10:32Z) - Asymptotic errors for convex penalized linear regression beyond Gaussian
matrices [23.15629681360836]
雑音線形観測から係数ベクトル$x_0$ in$RN$を学習する問題を考察する。
平均二乗誤差に対する明示的な式を厳密に導出する。
我々の予測は、非常に適度なサイズであっても、数値と非常によく一致していることを示す。
論文 参考訳(メタデータ) (2020-02-11T13:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。