論文の概要: Retire: Robust Expectile Regression in High Dimensions
- arxiv url: http://arxiv.org/abs/2212.05562v2
- Date: Wed, 22 Mar 2023 15:06:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 01:10:02.063592
- Title: Retire: Robust Expectile Regression in High Dimensions
- Title(参考訳): 引退:高次元でのロバストな期待回帰
- Authors: Rebeka Man, Kean Ming Tan, Zian Wang, and Wen-Xin Zhou
- Abstract要約: ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
- 参考スコア(独自算出の注目度): 3.9391041278203978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-dimensional data can often display heterogeneity due to heteroscedastic
variance or inhomogeneous covariate effects. Penalized quantile and expectile
regression methods offer useful tools to detect heteroscedasticity in
high-dimensional data. The former is computationally challenging due to the
non-smooth nature of the check loss, and the latter is sensitive to
heavy-tailed error distributions. In this paper, we propose and study
(penalized) robust expectile regression (retire), with a focus on iteratively
reweighted $\ell_1$-penalization which reduces the estimation bias from
$\ell_1$-penalization and leads to oracle properties. Theoretically, we
establish the statistical properties of the retire estimator under two regimes:
(i) low-dimensional regime in which $d \ll n$; (ii) high-dimensional regime in
which $s\ll n\ll d$ with $s$ denoting the number of significant predictors. In
the high-dimensional setting, we carefully characterize the solution path of
the iteratively reweighted $\ell_1$-penalized retire estimation, adapted from
the local linear approximation algorithm for folded-concave regularization.
Under a mild minimum signal strength condition, we show that after as many as
$\log(\log d)$ iterations the final iterate enjoys the oracle convergence rate.
At each iteration, the weighted $\ell_1$-penalized convex program can be
efficiently solved by a semismooth Newton coordinate descent algorithm.
Numerical studies demonstrate the competitive performance of the proposed
procedure compared with either non-robust or quantile regression based
alternatives.
- Abstract(参考訳): 高次元データは、ヘテロシドスティックな分散や不均質な共変量効果によって、しばしば異質性を示す。
ペナルタライズド量子量分解法と期待回帰法は、高次元データのヘテロシステディティを検出する有用なツールを提供する。
前者はチェック損失の非滑らかな性質のため計算的に困難であり、後者は重み付き誤差分布に敏感である。
本稿では,繰り返し重み付けされた$\ell_1$-penalization に着目し,$\ell_1$-penalization から推定バイアスを低減し,oracle のプロパティに繋がる,(ペナライズされた)堅牢な期待回帰 (retire) を提案し,検討する。
理論的には、退職推定子の統計特性を2つの条件の下で定めている。
(i)$d \ll n$という低次元のレジーム
(ii)$s\ll n\ll d$が$s$で重要な予測器の数を示す高次元のレジーム。
高次元設定では, 繰り返し再重み付けされた$\ell_1$-penalized retirement estimationの解経路を, 折り畳み凹凸正則化のための局所線形近似アルゴリズムを用いて慎重に特徴づける。
穏やかな最小信号強度条件下では、$\log(\log d)$の反復を繰り返すと、最終イテレートがoracleの収束率を享受することを示している。
各イテレーションにおいて、重み付き$\ell_1$-penalized convexプログラムをセミムートニュートン座標降下アルゴリズムによって効率的に解くことができる。
数値解析により,提案手法の競合性能を,非ロバストあるいは量子回帰に基づく方法と比較した。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - The Adaptive $\tau$-Lasso: Robustness and Oracle Properties [14.250233515645782]
本稿では,高次元データセット解析のためのロバストな$tau$-regression推定器の正規化版を紹介する。
得られた推定器はアダプティブ $tau$-Lasso と呼ばれ、外れ値や高平均点に対して堅牢である。
外れ値と高平均点に直面して、適応 $tau$-Lasso と $tau$-Lasso 推定器は、最高のパフォーマンスまたは最も近いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-04-18T21:34:14Z) - Near Optimal Private and Robust Linear Regression [47.2888113094367]
本稿では,2つのアルゴリズムを改良したDP-SGDアルゴリズムを提案する。
ラベル破壊の下では、これは$(varepsilon,delta)$-DPとロバスト性の両方を保証する最初の効率的な線形回帰アルゴリズムである。
論文 参考訳(メタデータ) (2023-01-30T20:33:26Z) - Streaming Sparse Linear Regression [1.8707139489039097]
本稿では,データポイントが逐次到着したときのストリーミングデータを解析する新しいオンライン疎線形回帰フレームワークを提案する。
提案手法はメモリ効率が高く,厳密な制約付き凸性仮定を必要とする。
論文 参考訳(メタデータ) (2022-11-11T07:31:55Z) - Efficient Truncated Linear Regression with Unknown Noise Variance [26.870279729431328]
雑音のばらつきが不明な場合に, 線形回帰の計算的, 統計的に効率的な推定器を提案する。
提案手法は, トランキャット標本の負の類似度に対して, プロジェクテッド・グラディエント・ディフレッシュを効果的に実装することに基づく。
論文 参考訳(メタデータ) (2022-08-25T12:17:37Z) - Distributed Sparse Regression via Penalization [5.990069843501885]
エージェントのネットワーク上の線形回帰を、(集中ノードを持たない)無向グラフとしてモデル化する。
推定問題は、局所的なLASSO損失関数の和とコンセンサス制約の2次ペナルティの最小化として定式化される。
本稿では, ペナル化問題に適用した近似勾配アルゴリズムが, 集中的な統計的誤差の順序の許容値まで線形に収束することを示す。
論文 参考訳(メタデータ) (2021-11-12T01:51:50Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳(メタデータ) (2021-03-23T17:48:56Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - Conditional Uncorrelation and Efficient Non-approximate Subset Selection
in Sparse Regression [72.84177488527398]
相関性の観点からスパース回帰を考察し,条件付き非相関式を提案する。
提案手法により、計算複雑性は、スパース回帰における各候補部分集合に対して$O(frac16k3+mk2+mkd)$から$O(frac16k3+frac12mk2)$に削減される。
論文 参考訳(メタデータ) (2020-09-08T20:32:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。