論文の概要: On the robustness of the minimum $\ell_2$ interpolator
- arxiv url: http://arxiv.org/abs/2003.05838v2
- Date: Tue, 5 Jan 2021 13:48:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 15:43:46.905362
- Title: On the robustness of the minimum $\ell_2$ interpolator
- Title(参考訳): 最小$\ell_2$補間器のロバスト性について
- Authors: Geoffrey Chinot, Matthieu Lerasle
- Abstract要約: 一般高次元線形回帰フレームワークにおいて最小$ell$-norm$hatbeta$で補間を解析する。
高い確率で、この推定器の予測損失は、上から$(|beta*|2r_cn(Sigma)vee |xi|2)/n$で有界であることを証明する。
- 参考スコア(独自算出の注目度): 2.918940961856197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We analyse the interpolator with minimal $\ell_2$-norm $\hat{\beta}$ in a
general high dimensional linear regression framework where $\mathbb Y=\mathbb
X\beta^*+\xi$ where $\mathbb X$ is a random $n\times p$ matrix with independent
$\mathcal N(0,\Sigma)$ rows and without assumption on the noise vector $\xi\in
\mathbb R^n$. We prove that, with high probability, the prediction loss of this
estimator is bounded from above by $(\|\beta^*\|^2_2r_{cn}(\Sigma)\vee
\|\xi\|^2)/n$, where $r_{k}(\Sigma)=\sum_{i\geq k}\lambda_i(\Sigma)$ are the
rests of the sum of eigenvalues of $\Sigma$. These bounds show a transition in
the rates. For high signal to noise ratios, the rates
$\|\beta^*\|^2_2r_{cn}(\Sigma)/n$ broadly improve the existing ones. For low
signal to noise ratio, we also provide lower bound holding with large
probability. Under assumptions on the sprectrum of $\Sigma$, this lower bound
is of order $\| \xi\|_2^2/n$, matching the upper bound. Consequently, in the
large noise regime, we are able to precisely track the prediction error with
large probability. This results give new insight when the interpolation can be
harmless in high dimensions.
- Abstract(参考訳): ここで、$\mathbb y=\mathbb x\beta^*+\xi$ ここで$\mathbb x$ はランダムな $n\times p$ 行列であり、独立な $\mathcal n(0,\sigma)$ 行であり、ノイズベクトル $\xi\in \mathbb r^n$ を仮定せずに、補間器を最小の$\ell_2$-norm $\hat{\beta}$ で解析する。
高確率で、この推定器の予測損失は、上から$(\|\beta^*\|^2_2r_{cn}(\sigma)\vee \|\xi\|^2/n$、ただし、$r_{k}(\sigma)=\sum_{i\geq k}\lambda_i(\sigma)$は$\sigma$の固有値の和の残りである。
これらの境界は速度の推移を示す。
高信号対雑音比の場合、$\|\beta^*\|^2_2r_{cn}(\sigma)/n$は既存の値を大きく改善する。
低信号対雑音比については、低バウンド保持も大きな確率で提供する。
Sigma$ のスプリーム上の仮定では、この下界は位数 $\| \xi\|_2^2/n$ であり、上界と一致する。
その結果,大雑音環境では予測誤差を高い確率で高精度に追跡することができる。
この結果は、補間が高次元において無害である場合の新しい洞察を与える。
関連論文リスト
- Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳(メタデータ) (2024-02-06T15:39:09Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳(メタデータ) (2023-09-25T17:54:19Z) - Statistically Optimal Robust Mean and Covariance Estimation for
Anisotropic Gaussians [3.5788754401889014]
強い$varepsilon$-contaminationモデルでは、元のガウスサンプルのベクトルの$varepsilon$分を他のベクトルに置き換えたと仮定する。
我々は、少なくとも1-デルタの確率で満足するコフラ行列 $Sigma の推定器 $widehat Sigma を構築する。
論文 参考訳(メタデータ) (2023-01-21T23:28:55Z) - Unique Games hardness of Quantum Max-Cut, and a conjectured
vector-valued Borell's inequality [6.621324975749854]
関数 $f:mathbbRn の -1, 1$ への雑音安定性は $f(boldsymbolx) cdot f(boldsymboly)$ の期待値であることを示す。
我々は $langle f(boldsymbolx), f(boldsymboly)rangle$ の期待値は、関数 $f(x) = x_leq k / Vert x_leq k / によって最小化されると予想する。
論文 参考訳(メタデータ) (2021-11-01T20:45:42Z) - Nonasymptotic one-and two-sample tests in high dimension with unknown
covariance structure [0.0]
テストの問題は、$mu が 0 に対して $eta-閉である場合、すなわち $|mu| geq (eta + delta)$ に対して $|mu| leq eta である。
本研究の目的は,I型とII型の両方の誤差を所定のレベルで制御できるように,最小分離距離$の漸近的上下境界を求めることである。
論文 参考訳(メタデータ) (2021-09-01T06:22:53Z) - Parameter-free Statistically Consistent Interpolation:
Dimension-independent Convergence Rates for Hilbert kernel regression [0.0]
最近提案された重み付き補間近接補間法 (wiNN) はこのクラスに属する。
プラグインの余剰リスクは 2|f(x)-1/2|1-1-varepsilon) sigma(x)((n))-frac2$ 以下の任意の$に対して、$f$ は回帰関数 $xmapstomathbbE[yx]$ であることを示す。
論文 参考訳(メタデータ) (2021-06-07T05:50:02Z) - Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。
本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。
スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文 参考訳(メタデータ) (2020-11-21T01:33:15Z) - Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and
ReLUs under Gaussian Marginals [49.60752558064027]
ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。
我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
論文 参考訳(メタデータ) (2020-06-29T17:10:10Z) - On the Optimal Weighted $\ell_2$ Regularization in Overparameterized
Linear Regression [23.467801864841526]
線形モデル $mathbfy = mathbfX mathbfbeta_star + mathbfepsilon$ with $mathbfXin mathbbRntimes p$ in the overparameterized regime $p>n$ を考える。
予測リスク $mathbbE(y-mathbfxThatmathbfbeta_lambda)2$ in proportional limit $p/n の正確なキャラクタリゼーションを提供する。
論文 参考訳(メタデータ) (2020-06-10T12:38:43Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳(メタデータ) (2020-05-29T07:20:35Z) - The Average-Case Time Complexity of Certifying the Restricted Isometry
Property [66.65353643599899]
圧縮センシングにおいて、100万倍のN$センシング行列上の制限等尺性(RIP)はスパースベクトルの効率的な再構成を保証する。
Mtimes N$ matrices with i.d.$mathcalN(0,1/M)$ entry。
論文 参考訳(メタデータ) (2020-05-22T16:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。