論文の概要: Non-Asymptotic Guarantees for Robust Statistical Learning under
$(1+\varepsilon)$-th Moment Assumption
- arxiv url: http://arxiv.org/abs/2201.03182v1
- Date: Mon, 10 Jan 2022 06:22:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 22:14:56.504132
- Title: Non-Asymptotic Guarantees for Robust Statistical Learning under
$(1+\varepsilon)$-th Moment Assumption
- Title（参考訳）: 1+\varepsilon)$-th moment仮定下での頑健な統計学習に対する非漸近的保証
- Authors: Lihu Xu, Fang Yao, Qiuran Yao, Huiming Zhang
- Abstract要約: 本稿では,統計レグレッションの多種族を対象としたログトランケート型M-メチエータを提案する。
標準推定よりもログトランケート推定の方が優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.716879432974126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There has been a surge of interest in developing robust estimators for models
with heavy-tailed data in statistics and machine learning. This paper proposes
a log-truncated M-estimator for a large family of statistical regressions and
establishes its excess risk bound under the condition that the data have
$(1+\varepsilon)$-th moment with $\varepsilon \in (0,1]$. With an additional
assumption on the associated risk function, we obtain an $\ell_2$-error bound
for the estimation. Our theorems are applied to establish robust M-estimators
for concrete regressions. Besides convex regressions such as quantile
regression and generalized linear models, many non-convex regressions can also
be fit into our theorems, we focus on robust deep neural network regressions,
which can be solved by the stochastic gradient descent algorithms. Simulations
and real data analysis demonstrate the superiority of log-truncated estimations
over standard estimations.
- Abstract（参考訳）: 統計と機械学習において、重み付きデータを持つモデルの堅牢な推定器開発への関心が高まっている。
本稿では,統計レグレッションの大規模なファミリーを対象としたログトランケートM推定器を提案し,データに1+\varepsilon($-th moment with $\varepsilon \in(0,1]$という条件の下で,その余剰リスクを推定する。
関連するリスク関数に対する追加の仮定により、推定に$\ell_2$-errorバウンドを得る。
具体的回帰に対するロバストなM推定器を確立するために,本定理を適用した。
分位回帰や一般化線形モデルのような凸回帰に加えて、多くの非凸回帰は我々の定理にも当てはまることができ、確率的勾配降下アルゴリズムによって解かれる頑健なディープニューラルネットワーク回帰にフォーカスする。
シミュレーションと実データ解析は、標準推定よりもログトランケート推定の方が優れていることを示す。
関連論文リスト
- Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。
我々は多種多様な高次元データにまたがって理論を検証する。
論文 参考訳（メタデータ） (2024-08-08T17:27:29Z) - Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression [29.57766164934947]
統計モデルの不確実性を推定するための一般的な再サンプリング手法について検討する。
一般化線形モデル(英語版)の文脈において、これらの手法によって推定されるバイアスと分散の厳密な記述を提供する。
論文 参考訳（メタデータ） (2024-02-21T08:50:33Z) - Efficient Truncated Linear Regression with Unknown Noise Variance [26.870279729431328]
雑音のばらつきが不明な場合に, 線形回帰の計算的, 統計的に効率的な推定器を提案する。
提案手法は, トランキャット標本の負の類似度に対して, プロジェクテッド・グラディエント・ディフレッシュを効果的に実装することに基づく。
論文 参考訳（メタデータ） (2022-08-25T12:17:37Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳（メタデータ） (2022-03-25T10:54:41Z) - Stability and Risk Bounds of Iterative Hard Thresholding [41.082982732100696]
アルゴリズム安定性の概念の下でIHTの新しいスパース一般化理論を導入する。
スパースレベル$k$のIHTは、スパース過剰リスクにおける収束率を$mathcaltilde O(n-1/2sqrtlog(n)log(p))$で楽しむことを示す。
理論的予測を確認するための予備的な数値的証拠が提供される。
論文 参考訳（メタデータ） (2022-03-17T16:12:56Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳（メタデータ） (2021-06-10T06:11:55Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Robust Geodesic Regression [6.827783641211451]
我々は、ロバストな測地回帰を行うために、$L_1$, Huber および Tukey biweight 推定器を含むM型推定器を使用する。
実際のニューロイメージングデータの解析を含む数値的な例の結果は、提案手法の有望な経験的性質を実証している。
論文 参考訳（メタデータ） (2020-07-09T02:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。