論文の概要: Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap
- arxiv url: http://arxiv.org/abs/2009.08071v2
- Date: Thu, 22 Apr 2021 17:38:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 12:04:28.221284
- Title: Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap
- Title（参考訳）: Ridgeレグレッションが再考:デバイアス、Thresholding、Bootstrap
- Authors: Yunyi Zhang and Dimitris N. Politis
- Abstract要約: リッジレグレッションは、デバイアスとしきい値の設定の後、Lassoに対していくつかの利点をもたらすので、見直す価値があるかもしれない。
本稿では,デバイアス付き及びしきい値付きリッジ回帰法を定義し,一貫性とガウス近似の定理を証明した。
推定に加えて予測の問題も考慮し,予測間隔に合わせた新しいハイブリッドブートストラップアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 4.142720557665472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of the Lasso in the era of high-dimensional data can be
attributed to its conducting an implicit model selection, i.e., zeroing out
regression coefficients that are not significant. By contrast, classical ridge
regression can not reveal a potential sparsity of parameters, and may also
introduce a large bias under the high-dimensional setting. Nevertheless, recent
work on the Lasso involves debiasing and thresholding, the latter in order to
further enhance the model selection. As a consequence, ridge regression may be
worth another look since -- after debiasing and thresholding -- it may offer
some advantages over the Lasso, e.g., it can be easily computed using a
closed-form expression. % and it has similar performance to threshold Lasso. In
this paper, we define a debiased and thresholded ridge regression method, and
prove a consistency result and a Gaussian approximation theorem. We further
introduce a wild bootstrap algorithm to construct confidence regions and
perform hypothesis testing for a linear combination of parameters. In addition
to estimation, we consider the problem of prediction, and present a novel,
hybrid bootstrap algorithm tailored for prediction intervals. Extensive
numerical simulations further show that the debiased and thresholded ridge
regression has favorable finite sample performance and may be preferable in
some settings.
- Abstract（参考訳）: 高次元データの時代におけるラッソの成功は、暗黙のモデル選択、すなわち重要でない回帰係数のゼロ化によって引き起こされる。
対照的に、古典的な隆起回帰はパラメータの潜在的間隔を明らかにすることができず、また高次元の設定の下で大きなバイアスをもたらすこともある。
しかしながら、ラッソに関する最近の研究は、モデル選択をさらに強化するために、デバイアスと閾値付けを含む。
その結果、リッジレグレッションは、デバイアスと閾値付けの後、例えば閉形式式を使って容易に計算できるようなラッソに対していくつかの利点をもたらすので、見直す価値があるかもしれない。
%であり, 閾値ラッソと同様の性能を示した。
本稿では,デバイアス付き及びしきい値付きリッジ回帰法を定義し,一貫性とガウス近似の定理を証明した。
さらに,信頼領域を構築し,パラメータの線形結合に対する仮説検証を行うワイルドブートストラップアルゴリズムを提案する。
推定に加えて予測の問題も考慮し,予測間隔を考慮した新しいハイブリッドブートストラップアルゴリズムを提案する。
広範囲な数値シミュレーションにより、デバイアスおよびしきい値付きリッジ回帰は有限サンプル性能が良好であり、いくつかの設定で好ましいことが示される。
関連論文リスト
- Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。
エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。
一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
論文 参考訳（メタデータ） (2023-07-03T08:19:00Z) - Convergence of uncertainty estimates in Ensemble and Bayesian sparse
model discovery [4.446017969073817]
ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。
このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
論文 参考訳（メタデータ） (2023-01-30T04:07:59Z) - High-dimensional regression with potential prior information on variable
importance [0.0]
順序付けによって示されるモデルの列に適合する簡単なスキームを提案する。
リッジ回帰を用いた場合の全てのモデルの適合に対する計算コストは、リッジ回帰の1つの適合に留まらないことを示す。
モデル全体の整合性を大幅に高速化するために,従来の整合性を利用したラッソ回帰の戦略を述べる。
論文 参考訳（メタデータ） (2021-09-23T10:34:37Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware
Regression [91.3373131262391]
不確かさが唯一の確実性である。
伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。
現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
論文 参考訳（メタデータ） (2021-03-25T06:56:09Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳（メタデータ） (2020-04-01T11:49:30Z) - The Reciprocal Bayesian LASSO [0.0]
我々は、線形回帰パラメータの rLASSO 推定をベイズ的後続モード推定として解釈できるという観測に基づいて、rLASSO 問題の完全なベイズ的定式化を考える。
シミュレーションおよび実データについて、ベイズ式は、推定、予測、変数選択において、その古典的な従兄弟よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-23T01:21:59Z) - On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。
また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2019-04-18T02:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。