論文の概要: A Simple Approximation to the Distribution of the Ridge Regression Estimator

• arxiv url: http://arxiv.org/abs/2608.02539v1
• Date: Mon, 03 Aug 2026 17:28:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.730639
• Title: A Simple Approximation to the Distribution of the Ridge Regression Estimator
• Title（参考訳）: リッジ回帰推定器の分布に対する簡易近似
• Abstract要約: 有限サンプルでは、リッジ回帰推定器はバイアスと分散をトレードオフし、推定と予測誤差を低減する。 我々の近似は、$i)$ で推定子の正規化パラメータをサンプルサイズに比例して成長させる非標準に基づいている。 リッジ回帰推定器の正規化パラメータを選択するための2つの新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 1.1678783855674757
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present a simple Gaussian approximation to the finite-sample distribution of the classical ridge regression estimator. Our approximation captures the fact that, in finite samples, the ridge regression estimator trades off bias and variance to reduce estimation and prediction error. Our approximation is based on nonstandard asymptotics where $i)$ we let the estimator's regularization parameter grow proportionally to the sample size; and $ii)$ we treat the population regression coefficients as \emph{local} to the reference vector that defines the estimator's direction of shrinkage. In contrast to other asymptotic approximations in the literature, we allow for general forms of heteroskedasticity and autocorrelation in the data generating process (at the cost of considering a low-dimensional model where the number of covariates is not allowed to grow with the sample size). We use our simple Gaussian approximation to propose two new strategies to select the regularization parameter for the ridge regression estimator. The suggested strategies select the regularization parameter to minimize either average or worst-case excess prediction risk, where risk is computed using our suggested Gaussian approximation.
• Abstract（参考訳）: 古典リッジ回帰推定器の有限サンプル分布に対する単純なガウス近似を示す。 我々の近似は、有限サンプルにおいて、リッジ回帰推定器がバイアスと分散をトレードオフし、推定と予測誤差を減少させるという事実を捉えている。 我々の近似は非標準漸近理論に基づいており、ここでは$i)$ 推定子の正規化パラメータをサンプルサイズに比例させて成長させ、$ii)$ 推定子の縮小方向を定義する基準ベクトルに対して、集団回帰係数を \emph{local} として扱う。 文献における他の漸近近似とは対照的に、データ生成過程におけるヘテロスケダスティック性や自己相関の一般的な形態を許容する(共変量数が標本サイズで大きくなることを許さない低次元モデルを考えるコストがかかる)。 我々は単純なガウス近似を用いて、リッジ回帰推定器の正規化パラメータを選択するための2つの新しい戦略を提案する。 提案手法は,提案したガウス近似を用いてリスクを計算し,平均または最悪の過剰予測リスクを最小化する正規化パラメータを選択する。

関連論文リスト

• Generalization Error Estimation for Primal--Dual Algorithms in Non-Smooth Regression [6.462588783417218]
  非滑らか回帰における原始双対アルゴリズムの一般化誤差のトラジェクトリワイズ推定について検討した。 シャンブル-ポックアルゴリズムと関連する原始-双分法を含む一般的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2026-08-14T01:45:11Z)
• Debiased Regression for Root-N-Consistent Conditional Mean Estimation [10.470114319701576]
  本稿では,高次元および非パラメトリック回帰推定器を含む回帰推定器のデバイアス化手法を提案する。 理論解析により,提案した推定器は,緩やかな収束率条件下で$sqrtn$-consistencyと正規性を達成することを示した。 提案手法は,推定精度の向上や信頼区間の簡易化など,いくつかの利点を提供する。
  論文  参考訳（メタデータ） (2024-11-18T17:25:06Z)
• Progression: an extrapolation principle for regression [0.0]
  本稿では,新しい統計外挿原理を提案する。 これは、予測器とトレーニング予測器のサンプルの境界における応答との単純な関係を仮定する。 我々の半パラメトリック法である進行法は、この外挿原理を活用し、トレーニングデータ範囲を超えた近似誤差の保証を提供する。
  論文  参考訳（メタデータ） (2024-10-30T17:29:51Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Transfer Learning with Random Coefficient Ridge Regression [2.0813318162800707]
  ランダム係数のリッジ回帰は、高次元設定における固定係数回帰の重要な代替となる。 本稿では,移動学習の設定におけるランダム係数リッジ回帰の推定と予測について考察する。
  論文  参考訳（メタデータ） (2023-06-28T04:36:37Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
  パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。 我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
  論文  参考訳（メタデータ） (2020-10-11T19:05:49Z)
• Nonparametric Estimation of the Fisher Information and Its Applications [82.00720226775964]
  本稿では,大きさn$のランダムサンプルからフィッシャー情報の位置推定の問題について考察する。 Bhattacharyaにより提案された推定器を再検討し、収束率の向上を導出する。 クリッピング推定器と呼ばれる新しい推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-07T17:21:56Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。