論文の概要: Gain Confidence, Reduce Disappointment: A New Approach to
Cross-Validation for Sparse Regression
- arxiv url: http://arxiv.org/abs/2306.14851v1
- Date: Mon, 26 Jun 2023 17:02:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 12:29:24.821323
- Title: Gain Confidence, Reduce Disappointment: A New Approach to
Cross-Validation for Sparse Regression
- Title（参考訳）: 失意感を和らげる利得信頼:スパース回帰に対するクロスバリデーションの新しいアプローチ
- Authors: Ryan Cory-Wright, Andr\'es G\'omez
- Abstract要約: クロスバリデーションはスパース回帰のコストを桁違いに増大させる。
検証メトリクスは、テストセットエラーのノイズの多い推定器です。
本稿では,不落感に対する妥当性を低下させるような,信頼度調整による残業の変種を提案する。
- 参考スコア（独自算出の注目度）: 3.04585143845864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ridge regularized sparse regression involves selecting a subset of features
that explains the relationship between a design matrix and an output vector in
an interpretable manner. To select the sparsity and robustness of linear
regressors, techniques like leave-one-out cross-validation are commonly used
for hyperparameter tuning. However, cross-validation typically increases the
cost of sparse regression by several orders of magnitude. Additionally,
validation metrics are noisy estimators of the test-set error, with different
hyperparameter combinations giving models with different amounts of noise.
Therefore, optimizing over these metrics is vulnerable to out-of-sample
disappointment, especially in underdetermined settings. To address this, we
make two contributions. First, we leverage the generalization theory literature
to propose confidence-adjusted variants of leave-one-out that display less
propensity to out-of-sample disappointment. Second, we leverage ideas from the
mixed-integer literature to obtain computationally tractable relaxations of
confidence-adjusted leave-one-out, thereby minimizing it without solving as
many MIOs. Our relaxations give rise to an efficient coordinate descent scheme
which allows us to obtain significantly lower leave-one-out errors than via
other methods in the literature. We validate our theory by demonstrating we
obtain significantly sparser and comparably accurate solutions than via popular
methods like GLMNet and suffer from less out-of-sample disappointment. On
synthetic datasets, our confidence adjustment procedure generates significantly
fewer false discoveries, and improves out-of-sample performance by 2-5%
compared to cross-validating without confidence adjustment. Across a suite of
13 real datasets, a calibrated version of our procedure improves the test set
error by an average of 4% compared to cross-validating without confidence
adjustment.
- Abstract（参考訳）: ridge正規化スパース回帰は、設計行列と出力ベクトルの関係を解釈可能な方法で説明する特徴のサブセットを選択することを伴う。
線形レグレプタのスパース性とロバスト性を選択するために、リセットワンアウトクロスバリデーションのような技法がハイパーパラメータチューニングに一般的に用いられる。
しかし、クロスバリデーションは典型的にはスパース回帰のコストを数桁増加させる。
さらに、検証メトリクスはテストセットエラーのノイズの多い推定器であり、異なるハイパーパラメータの組み合わせによって異なるノイズのモデルが得られる。
したがって、これらのメトリクスを最適化することは、特に過度に決定された設定において、サンプル外の失望に弱い。
これに対処するために、私たちは2つの貢献をします。
第一に, 一般化理論の文献を活用し, 期待外れへの適応性の低下を表わす, 信頼度調整型let-one-outを提案する。
第2に,混合整数文献のアイデアを活用し,信頼度調整された残余ワンアウトの計算可能な緩和度を得る。
我々の緩和は、文献の他の方法よりもはるかに低い残余誤差が得られる効率的な座標降下スキームを生み出します。
我々は,glmnet のような一般的な手法より著しくスパースで比較可能な解が得られることを示すことにより,この理論を検証する。
合成データセット上では, 信頼度調整手順は疑似発見を著しく少なくし, 信頼度調整を伴わないクロスバリデーションに比べ, サンプル外性能を2-5%向上させる。
提案手法の校正版では,13個の実データセットの集合全体にわたって,信頼度調整を伴わないクロスバリデーションに比べて,テストセットエラーを平均4%改善する。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - ROTI-GCV: Generalized Cross-Validation for right-ROTationally Invariant Data [1.194799054956877]
高次元正規化回帰における2つの重要なタスクは、正確な予測のために正規化強度を調整し、サンプル外リスクを推定することである。
問題のある条件下でクロスバリデーションを確実に行うための新しいフレームワーク ROTI-GCV を導入する。
論文 参考訳（メタデータ） (2024-06-17T15:50:00Z) - Gradient-based bilevel optimization for multi-penalty Ridge regression
through matrix differential calculus [0.46040036610482665]
我々は,l2-正則化を用いた線形回帰問題に対する勾配に基づくアプローチを導入する。
提案手法はLASSO, Ridge, Elastic Netレグレッションよりも優れていることを示す。
勾配の解析は、自動微分と比較して計算時間の観点からより効率的であることが証明されている。
論文 参考訳（メタデータ） (2023-11-23T20:03:51Z) - Distributed Estimation and Inference for Semi-parametric Binary Response Models [8.309294338998539]
本稿では,分散コンピューティング環境下での半パラメトリック二値選択モデルの最大スコア推定について検討する。
直感的な分割・対数推定器は計算コストが高く、機械数に対する非正規制約によって制限される。
論文 参考訳（メタデータ） (2022-10-15T23:06:46Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳（メタデータ） (2020-11-30T21:47:38Z) - Doubly Robust Semiparametric Difference-in-Differences Estimators with
High-Dimensional Data [15.27393561231633]
不均一な治療効果を推定するための2段半パラメトリック差分差分推定器を提案する。
第1段階では、確率スコアを推定するために、一般的な機械学習手法が使用できる。
第2段階ではパラメトリックパラメータと未知関数の両方の収束率を導出する。
論文 参考訳（メタデータ） (2020-09-07T15:14:29Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Component-wise Adaptive Trimming For Robust Mixture Regression [15.633993488010292]
既存のロバストな混合回帰法は、外層の存在下で外層推定を行うか、汚染レベルに関する事前の知識に依存するため、外層評価に苦しむ。
本稿では,適応的適応成分法 (Adaptive-wise Adaptive Component, CAT) と呼ばれる高速で効率的な混合回帰アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-05-23T20:59:16Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。