論文の概要: Retire: Robust Expectile Regression in High Dimensions
- arxiv url: http://arxiv.org/abs/2212.05562v2
- Date: Wed, 22 Mar 2023 15:06:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 01:10:02.063592
- Title: Retire: Robust Expectile Regression in High Dimensions
- Title（参考訳）: 引退:高次元でのロバストな期待回帰
- Authors: Rebeka Man, Kean Ming Tan, Zian Wang, and Wen-Xin Zhou
- Abstract要約: ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
- 参考スコア（独自算出の注目度）: 3.9391041278203978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-dimensional data can often display heterogeneity due to heteroscedastic
variance or inhomogeneous covariate effects. Penalized quantile and expectile
regression methods offer useful tools to detect heteroscedasticity in
high-dimensional data. The former is computationally challenging due to the
non-smooth nature of the check loss, and the latter is sensitive to
heavy-tailed error distributions. In this paper, we propose and study
(penalized) robust expectile regression (retire), with a focus on iteratively
reweighted $\ell_1$-penalization which reduces the estimation bias from
$\ell_1$-penalization and leads to oracle properties. Theoretically, we
establish the statistical properties of the retire estimator under two regimes:
(i) low-dimensional regime in which $d \ll n$; (ii) high-dimensional regime in
which $s\ll n\ll d$ with $s$ denoting the number of significant predictors. In
the high-dimensional setting, we carefully characterize the solution path of
the iteratively reweighted $\ell_1$-penalized retire estimation, adapted from
the local linear approximation algorithm for folded-concave regularization.
Under a mild minimum signal strength condition, we show that after as many as
$\log(\log d)$ iterations the final iterate enjoys the oracle convergence rate.
At each iteration, the weighted $\ell_1$-penalized convex program can be
efficiently solved by a semismooth Newton coordinate descent algorithm.
Numerical studies demonstrate the competitive performance of the proposed
procedure compared with either non-robust or quantile regression based
alternatives.
- Abstract（参考訳）: 高次元データは、ヘテロシドスティックな分散や不均質な共変量効果によって、しばしば異質性を示す。
ペナルタライズド量子量分解法と期待回帰法は、高次元データのヘテロシステディティを検出する有用なツールを提供する。
前者はチェック損失の非滑らかな性質のため計算的に困難であり、後者は重み付き誤差分布に敏感である。
本稿では,繰り返し重み付けされた$\ell_1$-penalization に着目し,$\ell_1$-penalization から推定バイアスを低減し,oracle のプロパティに繋がる,(ペナライズされた)堅牢な期待回帰 (retire) を提案し,検討する。
理論的には、退職推定子の統計特性を2つの条件の下で定めている。
(i)$d \ll n$という低次元のレジーム
(ii)$s\ll n\ll d$が$s$で重要な予測器の数を示す高次元のレジーム。
高次元設定では, 繰り返し再重み付けされた$\ell_1$-penalized retirement estimationの解経路を, 折り畳み凹凸正則化のための局所線形近似アルゴリズムを用いて慎重に特徴づける。
穏やかな最小信号強度条件下では、$\log(\log d)$の反復を繰り返すと、最終イテレートがoracleの収束率を享受することを示している。
各イテレーションにおいて、重み付き$\ell_1$-penalized convexプログラムをセミムートニュートン座標降下アルゴリズムによって効率的に解くことができる。
数値解析により,提案手法の競合性能を,非ロバストあるいは量子回帰に基づく方法と比較した。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Stochastic Optimization Algorithms for Instrumental Variable Regression with Streaming Data [17.657917523817243]
この問題を条件付き最適化問題とみなして,器用変分回帰のためのアルゴリズムを開発し,解析する。
最小二乗変数回帰の文脈では、我々のアルゴリズムは行列逆転やミニバッチを必要としない。
任意の$iota>0$に対して$mathcalO(log T/T)$と$mathcalO(1/T1-iota)$の順の収束率を導出する。
論文 参考訳（メタデータ） (2024-05-29T19:21:55Z) - Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。
元の量子レグレッションを最小二乗最適化に変換する。
効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
論文 参考訳（メタデータ） (2024-05-13T08:32:22Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - The Adaptive $τ$-Lasso: Robustness and Oracle Properties [12.06248959194646]
本稿では,高次元データセット解析のためのロバストな$tau$-regression推定器の正規化版を紹介する。
得られた推定器はアダプティブ $tau$-Lasso と呼ばれ、外れ値や高平均点に対して堅牢である。
外れ値と高平均点に直面して、適応 $tau$-Lasso と $tau$-Lasso 推定器は、最高のパフォーマンスまたは最も近いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-04-18T21:34:14Z) - Near Optimal Private and Robust Linear Regression [47.2888113094367]
本稿では,2つのアルゴリズムを改良したDP-SGDアルゴリズムを提案する。
ラベル破壊の下では、これは$(varepsilon,delta)$-DPとロバスト性の両方を保証する最初の効率的な線形回帰アルゴリズムである。
論文 参考訳（メタデータ） (2023-01-30T20:33:26Z) - Streaming Sparse Linear Regression [1.8707139489039097]
本稿では,データポイントが逐次到着したときのストリーミングデータを解析する新しいオンライン疎線形回帰フレームワークを提案する。
提案手法はメモリ効率が高く,厳密な制約付き凸性仮定を必要とする。
論文 参考訳（メタデータ） (2022-11-11T07:31:55Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Conditional Uncorrelation and Efficient Non-approximate Subset Selection
in Sparse Regression [72.84177488527398]
相関性の観点からスパース回帰を考察し,条件付き非相関式を提案する。
提案手法により、計算複雑性は、スパース回帰における各候補部分集合に対して$O(frac16k3+mk2+mkd)$から$O(frac16k3+frac12mk2)$に削減される。
論文 参考訳（メタデータ） (2020-09-08T20:32:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。