論文の概要: Asymptotic errors for convex penalized linear regression beyond Gaussian
matrices
- arxiv url: http://arxiv.org/abs/2002.04372v1
- Date: Tue, 11 Feb 2020 13:43:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 02:39:03.290986
- Title: Asymptotic errors for convex penalized linear regression beyond Gaussian
matrices
- Title（参考訳）: ガウス行列を超えた凸ペナルテッド線形回帰に対する漸近誤差
- Authors: C\'edric Gerbelot, Alia Abbara and Florent Krzakala
- Abstract要約: 雑音線形観測から係数ベクトル$x_0$ in$RN$を学習する問題を考察する。
平均二乗誤差に対する明示的な式を厳密に導出する。
我々の予測は、非常に適度なサイズであっても、数値と非常によく一致していることを示す。
- 参考スコア（独自算出の注目度）: 23.15629681360836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of learning a coefficient vector $x_{0}$ in $R^{N}$
from noisy linear observations $y=Fx_{0}+w$ in $R^{M}$ in the high dimensional
limit $M,N$ to infinity with $\alpha=M/N$ fixed. We provide a rigorous
derivation of an explicit formula -- first conjectured using heuristic methods
from statistical physics -- for the asymptotic mean squared error obtained by
penalized convex regression estimators such as the LASSO or the elastic net,
for a class of very generic random matrices corresponding to rotationally
invariant data matrices with arbitrary spectrum. The proof is based on a
convergence analysis of an oracle version of vector approximate message-passing
(oracle-VAMP) and on the properties of its state evolution equations. Our
method leverages on and highlights the link between vector approximate
message-passing, Douglas-Rachford splitting and proximal descent algorithms,
extending previous results obtained with i.i.d. matrices for a large class of
problems. We illustrate our results on some concrete examples and show that
even though they are asymptotic, our predictions agree remarkably well with
numerics even for very moderate sizes.
- Abstract（参考訳）: 雑音線形観測から係数ベクトル $x_{0}$ in $r^{n}$ を学習する問題を考える。 $y=fx_{0}+w$ in $r^{m}$ 高次元極限では、$\alpha=m/n$ で無限大となる。
ラッソや弾性ネットのようなペナリズド凸回帰推定器によって得られる漸近的平均二乗誤差を、任意のスペクトルの回転不変データ行列に対応する非常に一般的なランダム行列のクラスに対して、統計的物理学からヒューリスティックな方法で最初に推測される明示的な公式の厳密な導出を提供する。
この証明は、ベクトル近似メッセージパッシング (oracle-VAMP) のオラクルバージョンの収束解析と、その状態進化方程式の性質に基づいている。
本手法は, ベクトル近似メッセージパッシング, douglas-rachford 分割, 近位降下アルゴリズムのリンクを活用し, 大規模問題に対するi.i.d.行列による先行結果の拡張を行った。
その結果を具体例で示し,漸近的ではあるが,非常に適度なサイズであっても数値と非常によく一致していることを示す。
関連論文リスト
- Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Entropic covariance models [0.7614628596146602]
共分散行列の異なる変換に対する線形制限に関する一般的な枠組みを提案する。
提案手法は凸問題を解き,$M$-estimatorを出力する。
論文 参考訳（メタデータ） (2023-06-06T11:25:05Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Dimension free ridge regression [10.434481202633458]
我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。
新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
論文 参考訳（メタデータ） (2022-10-16T16:01:05Z) - On the well-spread property and its relation to linear regression [4.619541348328937]
頑健な線形回帰モデルにおけるパラメータベクトルの一貫した回復は情報理論上不可能であることを示す。
与えられた$n$-by-d$行列が、周囲の次元で観測回数が二次的である場合、適切に証明できることが示される。
論文 参考訳（メタデータ） (2022-06-16T11:17:44Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳（メタデータ） (2021-12-23T04:05:01Z) - Near optimal sample complexity for matrix and tensor normal models via
geodesic convexity [5.191641077435773]
いくつかの自然測度において、最大極大推定器(MLE)によって達成された誤差に対する漸近的境界を示す。
サンプルの複雑性境界と同じ条件下では、フリップフロップアルゴリズム(英語版)として知られるMLEを反復的に計算する手法が高い確率で線形に収束することを示す。
論文 参考訳（メタデータ） (2021-10-14T17:47:00Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-30T19:10:32Z) - Information-Theoretic Limits for the Matrix Tensor Product [8.206394018475708]
本稿では,ランダム行列の行列テンソル積を含む高次元推論問題について検討する。
本稿では,高次元行列保存信号の解析のための新しい手法を紹介する。
論文 参考訳（メタデータ） (2020-05-22T17:03:48Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z) - Optimal Iterative Sketching with the Subsampled Randomized Hadamard
Transform [64.90148466525754]
最小二乗問題に対する反復スケッチの性能について検討する。
本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。
これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
論文 参考訳（メタデータ） (2020-02-03T16:17:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。