論文の概要: Robust Algorithms for GMM Estimation: A Finite Sample Viewpoint

• arxiv url: http://arxiv.org/abs/2110.03070v1
• Date: Wed, 6 Oct 2021 21:06:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:55:02.882441
• Title: Robust Algorithms for GMM Estimation: A Finite Sample Viewpoint
• Title（参考訳）: GMM推定のためのロバストアルゴリズム:有限サンプル視点
• Authors: Dhruv Rohatgi, Vasilis Syrgkanis
• Abstract要約: モーメントの一般化法(GMM) 我々はGMM推定器を開発し、一定の$ell$リカバリ保証を$O(sqrtepsilon)$で許容する。 我々のアルゴリズムと仮定は、機器変数の線形回帰とロジスティック回帰に適用できる。
• 参考スコア（独自算出の注目度）: 30.839245814393724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For many inference problems in statistics and econometrics, the unknown parameter is identified by a set of moment conditions. A generic method of solving moment conditions is the Generalized Method of Moments (GMM). However, classical GMM estimation is potentially very sensitive to outliers. Robustified GMM estimators have been developed in the past, but suffer from several drawbacks: computational intractability, poor dimension-dependence, and no quantitative recovery guarantees in the presence of a constant fraction of outliers. In this work, we develop the first computationally efficient GMM estimator (under intuitive assumptions) that can tolerate a constant $\epsilon$ fraction of adversarially corrupted samples, and that has an $\ell_2$ recovery guarantee of $O(\sqrt{\epsilon})$. To achieve this, we draw upon and extend a recent line of work on algorithmic robust statistics for related but simpler problems such as mean estimation, linear regression and stochastic optimization. As two examples of the generality of our algorithm, we show how our estimation algorithm and assumptions apply to instrumental variables linear and logistic regression. Moreover, we experimentally validate that our estimator outperforms classical IV regression and two-stage Huber regression on synthetic and semi-synthetic datasets with corruption.
• Abstract（参考訳）: 統計学や計量学における多くの推論問題に対して、未知のパラメータはモーメント条件によって識別される。 モーメント条件を解く一般的な方法は一般化モーメント法(gmm)である。 しかし、古典的なGMM推定は外れ値に非常に敏感である可能性がある。 ロバスト化GMM推定器は過去にも開発されてきたが、計算の難易度、次元依存性の低さ、不規則な外れ値の存在下での定量的回復保証など、いくつかの欠点に悩まされている。 本研究では, 計算効率のよいGMM推定器(直観的な仮定の下で)を開発し, 一定の$\epsilon$ の逆劣化サンプルを許容し, $O(\sqrt{\epsilon})$ の $\ell_2$ の回復保証を持つ。 これを実現するため、平均推定や線形回帰、確率的最適化といった、関連するがより単純な問題に対するアルゴリズムロバストな統計に関する最近の研究の線引きと拡張を行った。 アルゴリズムの一般性の2つの例として,推定アルゴリズムと仮定が器用変数の線形回帰とロジスティック回帰にどのように適用されるかを示す。 さらに, 腐敗を伴う合成および半合成データセットにおいて, 推定器が古典的iv回帰および二段階フーバー回帰よりも優れていることを実験的に検証した。

関連論文リスト

• Asymptotic Characterisation of Robust Empirical Risk Minimisation Performance in the Presence of Outliers [18.455890316339595]
  我々は,次元$d$とデータ点数$n$が固定比$alpha=n/d$で分岐した場合,高次元の線形回帰について検討し,出力率を含むデータモデルについて検討する。 我々は、$ell$-regularized $ell$, $ell_$, Huber損失を用いて、経験的リスク最小化(ERM)のパフォーマンスの正確性を提供する。
  論文  参考訳（メタデータ） (2023-05-30T12:18:39Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Robust Compressed Sensing using Generative Models [98.64228459705859]
  本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。 我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
  論文  参考訳（メタデータ） (2020-06-16T19:07:41Z)
• $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator [95.71091446753414]
  最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。 本手法は既存の不一致対策よりも高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-06-13T06:09:27Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Robust subgaussian estimation with VC-dimension [0.0]
  この研究は、MOM推定器の余剰リスクを束縛する新しい一般的な方法を提案する。 中心となる技術は、統計複雑性を測定するためにVC次元(ラデマッハの複雑さの代わりに)を用いることである。
  論文  参考訳（メタデータ） (2020-04-24T13:21:09Z)
• High-dimensional macroeconomic forecasting using message passing algorithms [0.0]
  この仕様における推論は、係数の高次元ベクトルを縮小するベイジアン階層的先行法を用いて進行する。 一般化近似メッセージパッシング(GAMP)アルゴリズムはアルゴリズムの複雑さが低く、簡単に並列化可能である。
  論文  参考訳（メタデータ） (2020-04-23T23:10:04Z)
• Statistical Inference for Model Parameters in Stochastic Gradient Descent [45.29532403359099]
  勾配降下係数(SGD)は,その計算効率とメモリ効率から,大規模データの統計的推定に広く用いられている。 人口減少関数が強い凸であり,一定の条件を満たす場合,SGDに基づく真のモデルパラメータの統計的推測の問題について検討する。
  論文  参考訳（メタデータ） (2016-10-27T07:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。