論文の概要: Asymptotic normality of robust $M$-estimators with convex penalty
- arxiv url: http://arxiv.org/abs/2107.03826v1
- Date: Thu, 8 Jul 2021 13:12:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-09 13:24:41.411309
- Title: Asymptotic normality of robust $M$-estimators with convex penalty
- Title（参考訳）: 凸ペナルティをもつロバスト$M$推定器の漸近正規性
- Authors: Pierre C Bellec, Yiwei Shen, Cun-Hui Zhang
- Abstract要約: 本稿では,高次元の凸ペナルティを持つロバストなM-推定器の座標の正規性について述べる。
ハマー損失について、推定された分散は、有効な自由度と効果的なサンプルサイズを含む単純な式を持つ。
- 参考スコア（独自算出の注目度）: 12.41853254173419
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper develops asymptotic normality results for individual coordinates
of robust M-estimators with convex penalty in high-dimensions, where the
dimension $p$ is at most of the same order as the sample size $n$, i.e,
$p/n\le\gamma$ for some fixed constant $\gamma>0$. The asymptotic normality
requires a bias correction and holds for most coordinates of the M-estimator
for a large class of loss functions including the Huber loss and its smoothed
versions regularized with a strongly convex penalty.
The asymptotic variance that characterizes the width of the resulting
confidence intervals is estimated with data-driven quantities. This estimate of
the variance adapts automatically to low ($p/n\to0)$ or high ($p/n \le \gamma$)
dimensions and does not involve the proximal operators seen in previous works
on asymptotic normality of M-estimators. For the Huber loss, the estimated
variance has a simple expression involving an effective degrees-of-freedom as
well as an effective sample size. The case of the Huber loss with Elastic-Net
penalty is studied in details and a simulation study confirms the theoretical
findings. The asymptotic normality results follow from Stein formulae for
high-dimensional random vectors on the sphere developed in the paper which are
of independent interest.
- Abstract（参考訳）: 本稿では,高次元の凸ペナルティを持つロバストなm-エスティメータの個々の座標に対する漸近的正規性(英語版)(asymptotic normality)を考案する。そこでは,固定定数$\gamma>0$ に対して $p$ がサンプルサイズ $n$,すなわち $p/n\le\gamma$ とほぼ同値である。
漸近正規性はバイアス補正を必要とし、ハマー損失を含む大きな損失関数のM-推定器のほとんどの座標と、強い凸ペナルティで正規化された滑らかなバージョンを保持する。
得られた信頼区間の幅を特徴付ける漸近的分散をデータ駆動量で推定する。
この分散の見積もりは、自動的に低 (p/n\to0)$または高 (p/n \le \gamma$) 次元に適応し、M-推定器の漸近正規性に関する以前の研究に見られる近位作用素を含まない。
ハマー損失について、推定された分散は、有効な自由度と効果的なサンプルサイズを含む単純な式を持つ。
弾性ネットペナルティによるハマー損失の事例を詳細に研究し、シミュレーション研究により理論的な結果を確認した。
漸近正規性は、独立興味を持つ論文で開発された球面上の高次元ランダムベクトルに対するスタイン公式から導かれる。
関連論文リスト
- Statistical Inference in Classification of High-dimensional Gaussian Mixture [1.2354076490479515]
高次元極限における正規化凸分類器の一般クラスの挙動について検討する。
我々の焦点は、推定器の一般化誤差と変数選択性である。
論文 参考訳（メタデータ） (2024-10-25T19:58:36Z) - Precise Asymptotics of Bagging Regularized M-estimators [5.165142221427928]
我々は,アンサンブル推定器の正方形予測リスクを,正規化M値推定器のサブタグ化(サブサンプルブートストラップ集約)により特徴付ける。
我々の分析の鍵は、重なり合うサブサンプル上の推定値と残差との相関関係の結合挙動に関する新しい結果である。
サブサンプルサイズ,アンサンブルサイズ,正規化の併用最適化は,全データに対してのみ,正規化器の最適化を著しく上回る。
論文 参考訳（メタデータ） (2024-09-23T17:48:28Z) - Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。
提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。
以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2～3桁効率が良いことが示された。
論文 参考訳（メタデータ） (2023-11-08T21:19:52Z) - Precise Learning Curves and Higher-Order Scaling Limits for Dot Product
Kernel Regression [41.48538038768993]
本稿では,ドット積カーネルのカーネルリッジ回帰問題に焦点をあてる。
我々は、任意の整数$r$に対して$m approx dr/r!$が常に学習曲線のピークを観測し、複数のサンプルワイズと非自明な振る舞いを複数のスケールで達成する。
論文 参考訳（メタデータ） (2022-05-30T04:21:31Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳（メタデータ） (2022-03-25T10:54:41Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。