論文の概要: Optimal Bias-Correction and Valid Inference in High-Dimensional Ridge Regression: A Closed-Form Solution

• arxiv url: http://arxiv.org/abs/2405.00424v1
• Date: Wed, 1 May 2024 10:05:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 16:07:30.671953
• Title: Optimal Bias-Correction and Valid Inference in High-Dimensional Ridge Regression: A Closed-Form Solution
• Title（参考訳）: 高次元リッジ回帰における最適バイアス補正と正当性推論:閉じた解法
• Authors: Zhaoxing Gao,
• Abstract要約: 寸法$p$がサンプルサイズ$n$より小さい場合、バイアスを効果的に補正するための反復戦略を導入する。 我々は、$p>n$のときの残差を処理するためにRide-Screening (RS)法を用い、バイアス補正に適した縮小モデルを作成する。 本手法はシミュレーションおよび実世界のデータ例を用いて検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ridge regression is an indispensable tool in big data econometrics but suffers from bias issues affecting both statistical efficiency and scalability. We introduce an iterative strategy to correct the bias effectively when the dimension $p$ is less than the sample size $n$. For $p>n$, our method optimally reduces the bias to a level unachievable through linear transformations of the response. We employ a Ridge-Screening (RS) method to handle the remaining bias when $p>n$, creating a reduced model suitable for bias-correction. Under certain conditions, the selected model nests the true one, making RS a novel variable selection approach. We establish the asymptotic properties and valid inferences of our de-biased ridge estimators for both $p< n$ and $p>n$, where $p$ and $n$ may grow towards infinity, along with the number of iterations. Our method is validated using simulated and real-world data examples, providing a closed-form solution to bias challenges in ridge regression inferences.
• Abstract（参考訳）: リッジ回帰は、ビッグデータのエコノメトリにおいて必須のツールであるが、統計効率とスケーラビリティの両方に影響を与えるバイアスの問題に悩まされている。 寸法$p$がサンプルサイズ$n$より小さい場合、バイアスを効果的に補正するための反復戦略を導入する。 p>n$の場合、反応の線形変換によって達成不可能なレベルへのバイアスを最適に低減する。 我々は、$p>n$のときの残差を処理するためにRide-Screening (RS)法を用い、バイアス補正に適した縮小モデルを作成する。 ある条件下では、選択されたモデルは真のモデルをネストし、RSを新しい変数選択アプローチにする。 p<n$ と $p>n$ の両方に対する非バイアスのリッジ推定器の漸近特性と有効推論を確立し、$p$ と $n$ は反復数とともに無限大へと成長する。 本手法はシミュレーションおよび実世界のデータ例を用いて検証し,リッジ回帰推論におけるバイアス問題に対するクローズドフォームソリューションを提供する。

関連論文リスト

• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• The Adaptive $τ$-Lasso: Robustness and Oracle Properties [12.06248959194646]
  本稿では,高次元データセット解析のためのロバストな$tau$-regression推定器の正規化版を紹介する。 得られた推定器はアダプティブ $tau$-Lasso と呼ばれ、外れ値や高平均点に対して堅牢である。 外れ値と高平均点に直面して、適応 $tau$-Lasso と $tau$-Lasso 推定器は、最高のパフォーマンスまたは最も近いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-04-18T21:34:14Z)
• PRIMO: Private Regression in Multiple Outcomes [2.900810893770134]
  我々は、PRIMO(Private Regression in Multiple Outcomes)と呼ばれる新しいプライベートレグレッション設定を導入する。 PRIMOは、プライバシを保持しながら、データアナリストが$l$のレグレッションを実行したいという一般的な状況にインスパイアされている。 理論が予測するよりもはるかに小さい$l$の値であっても、射影法は射影を使わない変種と比較して精度を向上させる。
  論文  参考訳（メタデータ） (2023-03-07T19:32:13Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• Streaming Sparse Linear Regression [1.8707139489039097]
  本稿では,データポイントが逐次到着したときのストリーミングデータを解析する新しいオンライン疎線形回帰フレームワークを提案する。 提案手法はメモリ効率が高く,厳密な制約付き凸性仮定を必要とする。
  論文  参考訳（メタデータ） (2022-11-11T07:31:55Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• A Conditional Randomization Test for Sparse Logistic Regression in High-Dimension [36.00360315353985]
  emphCRT-logitは、変数蒸留ステップとデコレーションステップを組み合わせたアルゴリズムである。 本手法の理論的解析を行い,大規模な脳画像とゲノムデータセットの実験とともにシミュレーションにおける有効性を示す。
  論文  参考訳（メタデータ） (2022-05-29T09:37:16Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。