論文の概要: Nearly Optimal Robust Covariance and Scatter Matrix Estimation Beyond Gaussians

• arxiv url: http://arxiv.org/abs/2502.06564v2
• Date: Sat, 12 Apr 2025 07:17:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:46:31.402470
• Title: Nearly Optimal Robust Covariance and Scatter Matrix Estimation Beyond Gaussians
• Title（参考訳）: ガウス距離を超えるほぼ最適ロバスト共分散と散乱行列推定
• Authors: Gleb Novikov,
• Abstract要約: 楕円分布の共分散/散乱行列の計算効率の良いロバスト推定問題について検討する。 ガウスのケースを超えて拡張される、計算可能で、ほぼ最適な、ほぼ最適な共分散推定器を初めて得る。
• 参考スコア（独自算出の注目度）: 2.311583680973075
• License:
• Abstract: We study the problem of computationally efficient robust estimation of the covariance/scatter matrix of elliptical distributions -- that is, affine transformations of spherically symmetric distributions -- under the strong contamination model in the high-dimensional regime $d \gtrsim 1/\varepsilon^2$, where $d$ is the dimension and $\varepsilon$ is the fraction of adversarial corruptions. We propose an algorithm that, under a very mild assumption on the scatter matrix $\Sigma$, and given a nearly optimal number of samples $n = \tilde{O}(d^2/\varepsilon^2)$, computes in polynomial time an estimator $\hat{\Sigma}$ such that, with high probability, \[ \left\| \Sigma^{-1/2} \hat{\Sigma} \Sigma^{-1/2} - Id \right\|_{\text F} \le O(\varepsilon \log(1/\varepsilon))\,. \] As an application of our result, we obtain the first efficiently computable, nearly optimal robust covariance estimators that extend beyond the Gaussian case. Specifically, for elliptical distributions satisfying the Hanson--Wright inequality (such as Gaussians and uniform distributions over ellipsoids), our estimator $\hat{\Sigma}$ of the covariance $\Sigma$ achieves the same error guarantee as in the Gaussian case. Moreover, for elliptical distributions with sub-exponential tails (such as the multivariate Laplace distribution), we construct an estimator $\hat{\Sigma}$ satisfying the spectral norm bound \[ \left\| \Sigma^{-1/2} \hat{\Sigma} \Sigma^{-1/2} - Id \right\| \le O(\varepsilon \log(1/\varepsilon))\,. \] Our approach is based on estimating the covariance of the spatial sign of elliptical distributions. The estimation proceeds in several stages, one of which involves a novel spectral covariance filtering algorithm. This algorithm combines covariance filtering techniques with degree-4 sum-of-squares relaxations, and we believe it may be of independent interest for future applications.
• Abstract（参考訳）: 楕円分布の共分散/散乱行列(すなわち球対称分布のアフィン変換)の計算効率よくロバストな推定の問題について、高次元状態の強い汚染モデルである $d \gtrsim 1/\varepsilon^2$ を用いて検討する。 散乱行列 $\Sigma$ の非常に穏やかな仮定の下で、ほぼ最適なサンプル数 $n = \tilde{O}(d^2/\varepsilon^2)$ を多項式時間で計算するアルゴリズムを提案し、高い確率で、 \[ \left\| \Sigma^{-1/2} \hat{\Sigma} \Sigma^{-1/2} - Id \right\|_{\text F} \le O(\varepsilon \log(1/\varepsilon))\。 結果の応用として、ガウスのケースを超えて拡張される、計算可能な、ほぼ最適なほぼ最適な共分散推定器を初めて得る。 具体的には、ハンソン-ライトの不等式を満たす楕円分布(例えば、楕円体上のガウス分布や一様分布)に対して、我々の推定器 $\hat{\Sigma}$ の共分散$\Sigma$ はガウスの場合と同じ誤差を保証する。 さらに、準指数尾を持つ楕円分布(多変量ラプラス分布など)に対しては、スペクトルノルム境界 \[[ \left\| \Sigma^{-1/2} \hat{\Sigma} \Sigma^{-1/2} - Id \right\| \le O(\varepsilon \log(1/\varepsilon))\ を満たす推定器$\hat{\Sigma}$を構築する。 この手法は楕円分布の空間的符号の共分散を推定することに基づいている。 推定はいくつかの段階で進行し、そのうちの1つは新しいスペクトル共分散フィルタリングアルゴリズムである。 このアルゴリズムは共分散フィルタリング手法と次数4の2乗和緩和を組み合わせ、将来の応用には独立した関心を持つ可能性があると信じている。

関連論文リスト

• Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
  以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。 本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-01T17:59:53Z)
• A Sub-Quadratic Time Algorithm for Robust Sparse Mean Estimation [6.853165736531941]
  逆数外乱の存在下でのスパース平均推定のアルゴリズム的問題について検討する。 我々の主な貢献は、$mathrmpoly(k,log d,1/epsilon)$サンプルを用いて、エフェサブクアクラティック時間で実行される頑健なスパース平均推定アルゴリズムである。
  論文  参考訳（メタデータ） (2024-03-07T18:23:51Z)
• Near-Optimal Bounds for Learning Gaussian Halfspaces with Random Classification Noise [50.64137465792738]
  この問題に対する効率的なSQアルゴリズムは、少なくとも$Omega(d1/2/(maxp, epsilon)2)$. のサンプル複雑性を必要とする。 我々の下限は、この1/epsilon$に対する二次的依存は、効率的なアルゴリズムに固有のものであることを示唆している。
  論文  参考訳（メタデータ） (2023-07-13T18:59:28Z)
• Statistically Optimal Robust Mean and Covariance Estimation for Anisotropic Gaussians [3.5788754401889014]
  強い$varepsilon$-contaminationモデルでは、元のガウスサンプルのベクトルの$varepsilon$分を他のベクトルに置き換えたと仮定する。 我々は、少なくとも1-デルタの確率で満足するコフラ行列 $Sigma の推定器 $widehat Sigma を構築する。
  論文  参考訳（メタデータ） (2023-01-21T23:28:55Z)
• A Fast Algorithm for Adaptive Private Mean Estimation [5.090363690988394]
  我々は、$Sigma$に適応する$(varepsilon, delta)$-differentially privateアルゴリズムを設計する。 推定子は、誘導されたマハラノビスノルム $|cdot||_Sigma$ に対して最適な収束率を達成する。
  論文  参考訳（メタデータ） (2023-01-17T18:44:41Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Robust Gaussian Covariance Estimation in Nearly-Matrix Multiplication Time [14.990725929840892]
  ここでは、$T(N, d)$は、その変換によって$d倍のN$行列を乗算するのに要する時間である。 我々のランタイムは、外乱のない共分散推定において最も高速なアルゴリズムと一致し、最大で多対数因子となる。
  論文  参考訳（メタデータ） (2020-06-23T20:21:27Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。