論文の概要: Out-of-sample error estimate for robust M-estimators with convex penalty
- arxiv url: http://arxiv.org/abs/2008.11840v4
- Date: Thu, 3 Jun 2021 20:17:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 22:13:03.406311
- Title: Out-of-sample error estimate for robust M-estimators with convex penalty
- Title（参考訳）: 凸ペナルティを有するロバストM推定器のサンプル外誤差推定
- Authors: Pierre C Bellec
- Abstract要約: 凸ペナルティで正規化された堅牢な$M$-estimatorsに対して、一般的なサンプル外誤差推定を提案する。
一般的な微分可能損失関数 $psi$ は $psi=rho'$ が 1-Lipschitz であるときに許される。
- 参考スコア（独自算出の注目度）: 5.33024001730262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A generic out-of-sample error estimate is proposed for robust $M$-estimators
regularized with a convex penalty in high-dimensional linear regression where
$(X,y)$ is observed and $p,n$ are of the same order. If $\psi$ is the
derivative of the robust data-fitting loss $\rho$, the estimate depends on the
observed data only through the quantities $\hat\psi = \psi(y-X\hat\beta)$,
$X^\top \hat\psi$ and the derivatives $(\partial/\partial y) \hat\psi$ and
$(\partial/\partial y) X\hat\beta$ for fixed $X$.
The out-of-sample error estimate enjoys a relative error of order $n^{-1/2}$
in a linear model with Gaussian covariates and independent noise, either
non-asymptotically when $p/n\le \gamma$ or asymptotically in the
high-dimensional asymptotic regime $p/n\to\gamma'\in(0,\infty)$. General
differentiable loss functions $\rho$ are allowed provided that $\psi=\rho'$ is
1-Lipschitz. The validity of the out-of-sample error estimate holds either
under a strong convexity assumption, or for the $\ell_1$-penalized Huber
M-estimator if the number of corrupted observations and sparsity of the true
$\beta$ are bounded from above by $s_*n$ for some small enough constant
$s_*\in(0,1)$ independent of $n,p$.
For the square loss and in the absence of corruption in the response, the
results additionally yield $n^{-1/2}$-consistent estimates of the noise
variance and of the generalization error. This generalizes, to arbitrary convex
penalty, estimates that were previously known for the Lasso.
- Abstract（参考訳）: x,y)$ が観測され、p,n$ が同じ順序である高次元線形回帰において凸ペナルティで正則化された頑健な $m$-推定子に対して、一般的なサンプル外誤差推定が提案されている。
もし$\psi$ がロバストなデータフィッティング損失 $\rho$ の導関数であるなら、その推定は $\hat\psi = \psi(y-x\hat\beta)$, $x^\top \hat\psi$ と $(\partial/\partial y) \hat\psi$ と $(\partial/\partial y) x\hat\beta$ の固定値 $x$ によってのみ観測されたデータに依存する。
アウト・オブ・サンプル誤差推定は、ガウス共変量と独立ノイズを持つ線型モデルにおいて、$p/n\le \gamma$または高次元漸近状態において$p/n\to\gamma'\in(0,\infty)$の相対誤差を楽しむ。
一般的な微分可能損失関数 $\rho$ は $\psi=\rho'$ が 1-Lipschitz であるときに与えられる。
サンプル外誤差推定の妥当性は、強い凸性仮定の下で、または$\ell_1$-penalized Huber M-estimatorに対して、真の$\beta$の破損した観測数とスパーシリティが、ある小さな定数$s_*\in(0,1)$$$n,p$から独立して、上から$s_*n$に制限される。
正方形の損失と応答の腐敗がない場合、結果はさらに$n^{-1/2}$-consistent estimates of the noise variance and the generalization errorである。
これは、ラッソで知られていた任意の凸のペナルティに一般化される。
関連論文リスト
- A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。
特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
論文 参考訳（メタデータ） (2023-09-17T01:45:13Z) - A spectral least-squares-type method for heavy-tailed corrupted
regression with unknown covariance \& heterogeneous noise [2.019622939313173]
重み付き最小二乗線形回帰は、少なくとも$epsilon n$ arbitrary outliersの$n$のラベル特徴サンプルを破損させたと仮定して再検討する。
本稿では,$(Sigma,Xi) や $Xi$ の演算ノルムに関する知識を前提に,電力法に基づくほぼ最適に計算可能な推定器を提案する。
論文 参考訳（メタデータ） (2022-09-06T23:37:31Z) - Structure Learning in Graphical Models from Indirect Observations [17.521712510832558]
本稿では、パラメータ法と非パラメトリック法の両方を用いて、Rp$における$p$次元ランダムベクトル$Xのグラフィカル構造を学習する。
温和な条件下では、グラフ構造推定器が正しい構造を得ることができることを示す。
論文 参考訳（メタデータ） (2022-05-06T19:24:44Z) - Active Sampling for Linear Regression Beyond the $\ell_2$ Norm [70.49273459706546]
対象ベクトルの少数のエントリのみを問合せすることを目的とした線形回帰のためのアクティブサンプリングアルゴリズムについて検討する。
我々はこの$d$への依存が対数的要因まで最適であることを示す。
また、損失関数に対して最初の全感度上界$O(dmax1,p/2log2 n)$を提供し、最大で$p$成長する。
論文 参考訳（メタデータ） (2021-11-09T00:20:01Z) - Consistent Estimation for PCA and Sparse Regression with Oblivious
Outliers [13.244654316770815]
我々は効率よく計算可能で一貫した推定器を設計する機械を開発する。
スパース回帰では、最適なサンプルサイズ$ngsim (klog d)/alpha2$の整合性を達成する。
PCAの文脈では、パラメータ行列上の広いスパイキネス仮定の下で最適な誤差を保証する。
論文 参考訳（メタデータ） (2021-11-04T15:59:44Z) - Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。
本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。
スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文 参考訳（メタデータ） (2020-11-21T01:33:15Z) - Consistent regression when oblivious outliers overwhelm [8.873449722727026]
我々の研究に先立ち、ガウスの$X$でさえ、$beta*$ の見積子は、このモデルでは一貫性がないことが知られていた。
ほぼ線形なサンプルサイズと逆ポリノミアル不整分率で一貫した推定が可能であることを示す。
ここで研究したモデルは、最初の瞬間さえも持たない重い尾の雑音の分布も捉えている。
論文 参考訳（メタデータ） (2020-09-30T16:21:34Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。