論文の概要: The Adaptive $\tau$-Lasso: Its Robustness and Oracle Properties
- arxiv url: http://arxiv.org/abs/2304.09310v1
- Date: Tue, 18 Apr 2023 21:34:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 16:04:42.801008
- Title: The Adaptive $\tau$-Lasso: Its Robustness and Oracle Properties
- Title（参考訳）: Adaptive $\tau$-Lasso:そのロバストさとOracleの特性
- Authors: Emadaldin Mozafari-Majd, Visa Koivunen
- Abstract要約: 本稿では, 粗汚染下の高次元データセットを解析するためのロバストな$tau$-regression推定器の新たな正規化版を提案する。
得られた推定器のアダプティブな$tau$-Lassoは、外れ値や高平均点に対して堅牢である。
我々のシミュレーションから、$tau$-Lasso推定器のクラスは汚染されたデータと汚染されていないデータの両方において堅牢で信頼性の高い性能を示します。
- 参考スコア（独自算出の注目度）: 18.34490939288318
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper introduces a new regularized version of the robust
$\tau$-regression estimator for analyzing high-dimensional data sets subject to
gross contamination in the response variables and covariates. We call the
resulting estimator adaptive $\tau$-Lasso that is robust to outliers and
high-leverage points and simultaneously employs adaptive $\ell_1$-norm penalty
term to reduce the bias associated with large true regression coefficients.
More specifically, this adaptive $\ell_1$-norm penalty term assigns a weight to
each regression coefficient. For a fixed number of predictors $p$, we show that
the adaptive $\tau$-Lasso has the oracle property with respect to
variable-selection consistency and asymptotic normality for the regression
vector corresponding to the true support, assuming knowledge of the true
regression vector support. We then characterize its robustness via the
finite-sample breakdown point and the influence function. We carry-out
extensive simulations to compare the performance of the adaptive $\tau$-Lasso
estimator with that of other competing regularized estimators in terms of
prediction and variable selection accuracy in the presence of contamination
within the response vector/regression matrix and additive heavy-tailed noise.
We observe from our simulations that the class of $\tau$-Lasso estimators
exhibits robustness and reliable performance in both contaminated and
uncontaminated data settings, achieving the best or close-to-best for many
scenarios, except for oracle estimators. However, it is worth noting that no
particular estimator uniformly dominates others. We also validate our findings
on robustness properties through simulation experiments.
- Abstract（参考訳）: 本稿では,応答変数と共変量における総汚染を受ける高次元データセットを分析するためのロバストな $\tau$-regression estimator の新しい正規化バージョンを提案する。
結果として得られる推定器適応型$\tau$-lasso は、外れ値や高平均点に対して頑健であり、同時に適応型$\ell_1$-norm ペナルティ項を用いて、大きな真の回帰係数に関連するバイアスを低減する。
具体的には、この適応$\ell_1$-normのペナルティ項は、各回帰係数に重みを割り当てる。
固定数の予測子$p$に対して、適応$\tau$-Lassoは、真の回帰ベクトルサポートの知識を仮定して、真の支持に対応する回帰ベクトルに対する変数選択整合性および漸近正規性に関するオラクル特性を持つことを示す。
次に、有限サンプル分解点と影響関数を通してその堅牢性を特徴づける。
適応型$\tau$-Lasso推定器と他の正規化推定器の性能を、応答ベクトル/回帰行列内における汚染の有無および付加重み付き雑音の予測および可変選択精度で比較するため、広範囲なシミュレーションを行う。
我々のシミュレーションから、$\tau$-Lasso推定器のクラスは、汚染されたデータと汚染されていないデータ設定の両方において堅牢で信頼性の高い性能を示し、オラクル推定器を除いて、多くのシナリオにおいてベストまたはクローズ・ツー・ベストを達成する。
しかし、特定の推定者が他を一様に支配しているわけではないことは注目に値する。
また, シミュレーション実験によるロバスト性特性の検証を行った。
関連論文リスト
- Semiparametric conformal prediction [79.6147286161434]
リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。
スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。
実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - Optimal Bias-Correction and Valid Inference in High-Dimensional Ridge Regression: A Closed-Form Solution [0.0]
寸法$p$がサンプルサイズ$n$より小さい場合、バイアスを効果的に補正するための反復戦略を導入する。
p>n$の場合、提案した非バイアス推定器の残余バイアスが到達不能であるようなバイアスを最適に緩和する。
本手法は,様々な分野にわたるリッジ回帰推論におけるバイアス問題に対する変換解を提供する。
論文 参考訳（メタデータ） (2024-05-01T10:05:19Z) - Asymptotic Characterisation of Robust Empirical Risk Minimisation
Performance in the Presence of Outliers [18.455890316339595]
我々は,次元$d$とデータ点数$n$が固定比$alpha=n/d$で分岐した場合,高次元の線形回帰について検討し,出力率を含むデータモデルについて検討する。
我々は、$ell$-regularized $ell$, $ell_$, Huber損失を用いて、経験的リスク最小化(ERM)のパフォーマンスの正確性を提供する。
論文 参考訳（メタデータ） (2023-05-30T12:18:39Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳（メタデータ） (2022-12-11T18:03:12Z) - High-dimensional regression with potential prior information on variable
importance [0.0]
順序付けによって示されるモデルの列に適合する簡単なスキームを提案する。
リッジ回帰を用いた場合の全てのモデルの適合に対する計算コストは、リッジ回帰の1つの適合に留まらないことを示す。
モデル全体の整合性を大幅に高速化するために,従来の整合性を利用したラッソ回帰の戦略を述べる。
論文 参考訳（メタデータ） (2021-09-23T10:34:37Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。
提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。
本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
論文 参考訳（メタデータ） (2020-10-22T19:31:30Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳（メタデータ） (2020-04-01T11:49:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。