論文の概要: Statistically Optimal Robust Mean and Covariance Estimation for
Anisotropic Gaussians
- arxiv url: http://arxiv.org/abs/2301.09024v1
- Date: Sat, 21 Jan 2023 23:28:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 15:13:29.492209
- Title: Statistically Optimal Robust Mean and Covariance Estimation for
Anisotropic Gaussians
- Title（参考訳）: 異方性ガウスの統計的最適ロバスト平均と共分散推定
- Authors: Arshak Minasyan and Nikita Zhivotovskiy
- Abstract要約: 強い$varepsilon$-contaminationモデルでは、元のガウスサンプルのベクトルの$varepsilon$分を他のベクトルに置き換えたと仮定する。
我々は、少なくとも1-デルタの確率で満足するコフラ行列 $Sigma の推定器 $widehat Sigma を構築する。
- 参考スコア（独自算出の注目度）: 3.5788754401889014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Assume that $X_{1}, \ldots, X_{N}$ is an $\varepsilon$-contaminated sample of
$N$ independent Gaussian vectors in $\mathbb{R}^d$ with mean $\mu$ and
covariance $\Sigma$. In the strong $\varepsilon$-contamination model we assume
that the adversary replaced an $\varepsilon$ fraction of vectors in the
original Gaussian sample by any other vectors. We show that there is an
estimator $\widehat \mu$ of the mean satisfying, with probability at least $1 -
\delta$, a bound of the form \[ \|\widehat{\mu} - \mu\|_2 \le
c\left(\sqrt{\frac{\operatorname{Tr}(\Sigma)}{N}} +
\sqrt{\frac{\|\Sigma\|\log(1/\delta)}{N}} +
\varepsilon\sqrt{\|\Sigma\|}\right), \] where $c > 0$ is an absolute constant
and $\|\Sigma\|$ denotes the operator norm of $\Sigma$. In the same
contaminated Gaussian setup, we construct an estimator $\widehat \Sigma$ of the
covariance matrix $\Sigma$ that satisfies, with probability at least $1 -
\delta$, \[ \left\|\widehat{\Sigma} - \Sigma\right\| \le
c\left(\sqrt{\frac{\|\Sigma\|\operatorname{Tr}(\Sigma)}{N}} +
\|\Sigma\|\sqrt{\frac{\log(1/\delta)}{N}} + \varepsilon\|\Sigma\|\right). \]
Both results are optimal up to multiplicative constant factors. Despite the
recent significant interest in robust statistics, achieving both dimension-free
bounds in the canonical Gaussian case remained open. In fact, several
previously known results were either dimension-dependent and required $\Sigma$
to be close to identity, or had a sub-optimal dependence on the contamination
level $\varepsilon$.
As a part of the analysis, we derive sharp concentration inequalities for
central order statistics of Gaussian, folded normal, and chi-squared
distributions.
- Abstract（参考訳）: X_{1}, \ldots, X_{N}$ を$\varepsilon$-contaminated sample of $N$ independent Gaussian vectors in $\mathbb{R}^d$ with mean $\mu$ and covariance $\Sigma$ とする。
強い$\varepsilon$-汚染モデルでは、元のガウスサンプルのベクトルの$\varepsilon$分を他のベクトルに置き換えると仮定する。
平均を満足する推定値 $\widehat \mu$ が存在し、少なくとも 1\delta$ の確率で \[ \|\widehat{\mu} - \mu\|_2 \le c\left(\sqrt{\frac{\operatorname{tr}(\sigma)}{n}} + \sqrt{\frac {|\sigma\|\log(1/\delta)}{n}} + \varepsilon\sqrt{\|\sigma\|}\right), \] ここで $c > 0$ は絶対定数であり、$\|\sigma\|$ は$\sigma$ の作用素ノルムを表す。
同じ汚染ガウス系では、少なくとも 1\delta$, \[ \left\|\widehat{\sigma} - \sigma\right\| \le c\left(\sqrt{\frac{\|\sigma\|\operatorname{tr}(\sigma)}{n}} + \|\sigma\|\sqrt{\frac{\log(1/\delta)}{n}} + \varepsilon\|\sigma\|\|\|\|\|\|\|\\\right) を満たす共分散行列 $\sigma$ の推定子 $\widehat \sigma$ を構成する。
\] 両結果は乗法定数因子まで最適である。
近年のロバスト統計学に対する大きな関心にもかかわらず、標準ガウスの場合における次元自由境界の両立は未開のままであった。
実際、以前に知られていたいくつかの結果は次元に依存しており、同一性に近いために$\sigma$が必要であったり、汚染レベル$\varepsilon$に準最適依存していた。
分析の一部として,ガウス分布,折り畳み正規分布,チ二乗分布の中央次統計量に対する鋭い濃度不等式を導出する。
関連論文リスト
- Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。
本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-01T17:59:53Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - Nonasymptotic one-and two-sample tests in high dimension with unknown
covariance structure [0.0]
テストの問題は、$mu が 0 に対して $eta-閉である場合、すなわち $|mu| geq (eta + delta)$ に対して $|mu| leq eta である。
本研究の目的は,I型とII型の両方の誤差を所定のレベルで制御できるように,最小分離距離$の漸近的上下境界を求めることである。
論文 参考訳（メタデータ） (2021-09-01T06:22:53Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳（メタデータ） (2020-12-31T18:24:41Z) - Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and
ReLUs under Gaussian Marginals [49.60752558064027]
ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。
我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
論文 参考訳（メタデータ） (2020-06-29T17:10:10Z) - Robust Gaussian Covariance Estimation in Nearly-Matrix Multiplication
Time [14.990725929840892]
ここでは、$T(N, d)$は、その変換によって$d倍のN$行列を乗算するのに要する時間である。
我々のランタイムは、外乱のない共分散推定において最も高速なアルゴリズムと一致し、最大で多対数因子となる。
論文 参考訳（メタデータ） (2020-06-23T20:21:27Z) - Efficient Statistics for Sparse Graphical Models from Truncated Samples [19.205541380535397]
i) スパースガウス図形モデルの推論と (ii) スパース線形モデルの回復支援の2つの基本的問題と古典的問題に焦点をあてる。
疎線型回帰については、$(bf x,y)$ が生成されるが、$y = bf xtopOmega* + MathcalN(0,1)$ と $(bf x, y)$ は、truncation set $S subseteq mathbbRd$ に属する場合にのみ見られる。
論文 参考訳（メタデータ） (2020-06-17T09:21:00Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z) - On the robustness of the minimum $\ell_2$ interpolator [2.918940961856197]
一般高次元線形回帰フレームワークにおいて最小$ell$-norm$hatbeta$で補間を解析する。
高い確率で、この推定器の予測損失は、上から$(|beta*|2r_cn(Sigma)vee |xi|2)/n$で有界であることを証明する。
論文 参考訳（メタデータ） (2020-03-12T15:12:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。