論文の概要: Optimal Robust Estimation under Local and Global Corruptions: Stronger Adversary and Smaller Error

• arxiv url: http://arxiv.org/abs/2410.17230v1
• Date: Tue, 22 Oct 2024 17:51:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:25.475812
• Title: Optimal Robust Estimation under Local and Global Corruptions: Stronger Adversary and Smaller Error
• Title（参考訳）: 局所的・大域的破壊下における最適ロバスト推定:より強い逆転とより小さな誤差
• Authors: Thanasis Pittas, Ankit Pensia,
• Abstract要約: アルゴリズムによる頑健な統計は伝統的に、サンプルのごく一部が任意に破損する汚染モデルに焦点を当ててきた。 最近の汚染モデルでは, (i) 古典的ロバスト統計のように, 任意の外れ値のごく一部と (ii) 局所摂動, (ii) サンプルが平均的に有界シフトを行うことのできる2種類の汚染モデルを考える。 理論上最適誤差は, 偶発的局所摂動モデルの下で, 時間内に得られることを示す。
• 参考スコア（独自算出の注目度）: 10.266928164137635
• License:
• Abstract: Algorithmic robust statistics has traditionally focused on the contamination model where a small fraction of the samples are arbitrarily corrupted. We consider a recent contamination model that combines two kinds of corruptions: (i) small fraction of arbitrary outliers, as in classical robust statistics, and (ii) local perturbations, where samples may undergo bounded shifts on average. While each noise model is well understood individually, the combined contamination model poses new algorithmic challenges, with only partial results known. Existing efficient algorithms are limited in two ways: (i) they work only for a weak notion of local perturbations, and (ii) they obtain suboptimal error for isotropic subgaussian distributions (among others). The latter limitation led [NGS24, COLT'24] to hypothesize that improving the error might, in fact, be computationally hard. Perhaps surprisingly, we show that information theoretically optimal error can indeed be achieved in polynomial time, under an even \emph{stronger} local perturbation model (the sliced-Wasserstein metric as opposed to the Wasserstein metric). Notably, our analysis reveals that the entire family of stability-based robust mean estimators continues to work optimally in a black-box manner for the combined contamination model. This generalization is particularly useful in real-world scenarios where the specific form of data corruption is not known in advance. We also present efficient algorithms for distribution learning and principal component analysis in the combined contamination model.
• Abstract（参考訳）: アルゴリズムによる頑健な統計は伝統的に、サンプルのごく一部が任意に破損する汚染モデルに焦点を当ててきた。 汚職を2種類組み合わせた最近の汚染モデルを考える。 (i)古典的ロバスト統計において、任意の外れ値の小さな部分 (ii) サンプルが平均的に有界シフトを受けるような局所摂動。 各ノイズモデルは個別によく理解されているが、組み合わせた汚染モデルは新しいアルゴリズムの課題を生じさせ、部分的な結果しか知られていない。 既存の効率的なアルゴリズムには2つの制限がある。 (i)局所摂動の弱い概念にのみ作用し、 (II)等方部分ガウス分布の最適誤差を得る(その他)。 後者の制限により [NGS24, COLT'24] は、エラーの改善は、実際は計算的に困難である、という仮説を立てた。 おそらく驚くべきことに、情報理論上の最適誤差は多項式時間において、偶数 'emph{stronger} 局所摂動モデル(ワッサーシュタイン計量とは対照的にスライスされたワッサーシュタイン計量)の下で達成できることが示される。 特に, 安定度に基づくロバスト平均推定器の系統全体が, 複合汚染モデルに対してブラックボックス方式で最適に動作し続けていることが明らかとなった。 この一般化は、データ破損の特定の形態が事前に分かっていない実世界のシナリオで特に有用である。 また, 複合汚染モデルにおいて, 分散学習と主成分分析のための効率的なアルゴリズムを提案する。

関連論文リスト

• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
  我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。 本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。 本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2023-11-10T15:33:19Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Outlier-Robust Learning of Ising Models Under Dobrushin's Condition [57.89518300699042]
  本研究では, サンプルの一定割合が逆向きに破壊されるような外乱条件下で, ドブルシンの条件を満たすIsingモデルの学習問題について検討する。 我々の主な成果は、ほぼ最適誤差保証を伴うこの問題に対して、計算効率のよい最初の頑健な学習アルゴリズムを提供することである。
  論文  参考訳（メタデータ） (2021-02-03T18:00:57Z)
• Distributionally Robust Local Non-parametric Conditional Estimation [22.423052432220235]
  非パラメトリックな局所推定を生成する分布安定な新しい推定器を提案する。 一般には難解であるにもかかわらず、局所推定器は凸最適化によって効率的に見つけることができることを示す。 合成およびMNISTデータセットを用いた実験は、この新しいクラスの推定器の競合性能を示している。
  論文  参考訳（メタデータ） (2020-10-12T00:11:17Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula [30.84155327760468]
  本稿では,不確かさを定量化した値計算の欠如に対する枠組みを提案する。 モデルに適合するために必要な時間は、データセット内の行数や列数と線形にスケールする。 実験結果から,本手法は様々な種類のデータに対して最先端の計算精度が得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-18T19:51:42Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。