論文の概要: The Strong Screening Rule for SLOPE

• arxiv url: http://arxiv.org/abs/2005.03730v3
• Date: Fri, 22 Apr 2022 09:38:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 23:07:20.529398
• Title: The Strong Screening Rule for SLOPE
• Title（参考訳）: SLOPEの強いスクリーニング規則
• Authors: Johan Larsson, Ma{\l}gorzata Bogdan, Jonas Wallin
• Abstract要約: 我々は,SLOPEのサブディファレンシャルを検証して,SLOPEのスクリーニングルールを開発し,このルールがラッソの強い規則の一般化であることを示す。 我々の数値実験は、このルールが実際にうまく機能していることを示し、$p gg n$ ドメインのデータに対して桁違いに改善されることを示している。
• 参考スコア（独自算出の注目度）: 5.156484100374058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extracting relevant features from data sets where the number of observations ($n$) is much smaller then the number of predictors ($p$) is a major challenge in modern statistics. Sorted L-One Penalized Estimation (SLOPE), a generalization of the lasso, is a promising method within this setting. Current numerical procedures for SLOPE, however, lack the efficiency that respective tools for the lasso enjoy, particularly in the context of estimating a complete regularization path. A key component in the efficiency of the lasso is predictor screening rules: rules that allow predictors to be discarded before estimating the model. This is the first paper to establish such a rule for SLOPE. We develop a screening rule for SLOPE by examining its subdifferential and show that this rule is a generalization of the strong rule for the lasso. Our rule is heuristic, which means that it may discard predictors erroneously. We present conditions under which this may happen and show that such situations are rare and easily safeguarded against by a simple check of the optimality conditions. Our numerical experiments show that the rule performs well in practice, leading to improvements by orders of magnitude for data in the $p \gg n$ domain, as well as incurring no additional computational overhead when $n \gg p$. We also examine the effect of correlation structures in the design matrix on the rule and discuss algorithmic strategies for employing the rule. Finally, we provide an efficient implementation of the rule in our R package SLOPE.
• Abstract（参考訳）: 観測数(n$)がはるかに少ないデータセットから、関連する特徴を抽出することは、現代の統計において、予測者数(p$)が大きな課題となる。 ラッソの一般化であるSorted L-One Penalized Estimation (SLOPE)はこの設定において有望な方法である。 しかしながら、SLOPEの現在の数値手順は、特に完全な正規化経路を推定する文脈において、ラッソのそれぞれのツールが楽しむ効率を欠いている。 lassoの効率性において重要な要素は、予測器スクリーニングルールである:モデルの推定前に予測器を破棄できるルールである。 これはSLOPEのそのようなルールを確立する最初の論文である。 我々は,SLOPEのサブディファレンシャルを検証して,SLOPEのスクリーニングルールを開発し,このルールがラッソの強い規則の一般化であることを示す。 私たちのルールはヒューリスティックです。つまり、予測器を誤って破棄する可能性があります。 そこで本研究では,このような状況が極めて稀であり,最適条件の簡易なチェックによって容易に保護できることを示す。 我々の数値実験は、このルールが実際にうまく機能していることを示し、$p \gg n$ ドメインのデータに対する桁違いの改善と、$n \gg p$ の計算オーバーヘッドの増大につながった。 また,設計行列における相関構造が規則に与える影響についても検討し,規則を用いるアルゴリズム戦略について議論する。 最後に、ルールの効率的な実装をRパッケージSLOPEに提供します。

関連論文リスト

• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• Orthogonal Gradient Boosting for Simpler Additive Rule Ensembles [10.40809014729148]
  予測規則のグラディエント向上は、潜在的に解釈可能で正確な確率モデルを学ぶための効率的なアプローチである。 本稿では, リスク勾配ベクトルと条件出力ベクトルの射影との角度を, 既に選択された条件の補数に対して測定する方法を示す。 このアプローチは、リスク勾配自体をモデルに追加する理想的な更新を正しく近似し、より一般的でより短いルールを含めることを好んでいる。
  論文  参考訳（メタデータ） (2024-02-24T02:29:10Z)
• A Screening Strategy for Structured Optimization Involving Nonconvex $\ell_{q,p}$ Regularization [5.522202658637732]
  我々は、noll_qp$正規化を含む構造化最適化の解法において、計算効率を改善するためのルール戦略を開発する。 我々は、IRL1法の有限個の繰り返しにおいて、我々の規則がすべての不活性変数を除去できることを証明した。 数値実験は、いくつかの最先端アルゴリズムと比較して、スクリーニングルール戦略の効率を例示する。
  論文  参考訳（メタデータ） (2022-08-02T10:01:49Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• The Hessian Screening Rule [5.076419064097734]
  ヘッセンスクリーニング規則はモデルからの2次情報を使用してより正確なスクリーニングを提供する。 このルールは, 相関性の高いシミュレーション実験において, 他の選択肢よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-27T07:55:29Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Efficient Conformal Prediction via Cascaded Inference with Expanded Admission [43.596058175459746]
  共形予測(CP)のための新しい手法を提案する。 我々は、単一の予測の代わりに、予測候補のセットを特定することを目指している。 この集合は、高い確率で正しい答えを含むことが保証される。
  論文  参考訳（メタデータ） (2020-07-06T23:13:07Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• Interpretable Random Forests via Rule Extraction [0.0]
  本稿では,ルールの短時間かつ単純なリストの形式を取り入れた,安定なルール学習アルゴリズムであるSIRUSを紹介する。 当社のR/C++ソフトウェア実装サイラスは、CRANから入手可能です。
  論文  参考訳（メタデータ） (2020-04-29T08:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。