論文の概要: Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression

• arxiv url: http://arxiv.org/abs/2402.13622v1
• Date: Wed, 21 Feb 2024 08:50:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 16:19:50.096783
• Title: Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression
• Title（参考訳）: 高次元正規化回帰におけるブートストラップとサブサンプリングの解析
• Authors: Lucas Clart\'e, Adrien Vandenbroucque, Guillaume Dalle, Bruno Loureiro, Florent Krzakala, Lenka Zdeborov\'a
• Abstract要約: 統計モデルの不確実性を推定するための一般的な再サンプリング手法について検討する。 一般化線形モデル(英語版)の文脈において、これらの手法によって推定されるバイアスと分散の厳密な記述を提供する。
• 参考スコア（独自算出の注目度）: 20.348736537045916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate popular resampling methods for estimating the uncertainty of statistical models, such as subsampling, bootstrap and the jackknife, and their performance in high-dimensional supervised regression tasks. We provide a tight asymptotic description of the biases and variances estimated by these methods in the context of generalized linear models, such as ridge and logistic regression, taking the limit where the number of samples $n$ and dimension $d$ of the covariates grow at a comparable fixed rate $\alpha\!=\! n/d$. Our findings are three-fold: i) resampling methods are fraught with problems in high dimensions and exhibit the double-descent-like behavior typical of these situations; ii) only when $\alpha$ is large enough do they provide consistent and reliable error estimations (we give convergence rates); iii) in the over-parametrized regime $\alpha\!<\!1$ relevant to modern machine learning practice, their predictions are not consistent, even with optimal regularization.
• Abstract（参考訳）: 本研究では, サブサンプリング, ブートストラップ, ジャックナイフなどの統計モデルの不確実性を推定するための一般的な再サンプリング手法とその高次元教師あり回帰タスクにおける性能について検討する。 我々は、リッジやロジスティック回帰のような一般化線形モデルの文脈において、これらの方法によって推定されるバイアスと分散の厳密な漸近的記述を提供し、コ変数のサンプル数 n$ と次元 $d$ が同等の固定レート $\alpha\! は、n/d$。 私たちの発見は3倍です。 一 再サンプリング方法は、高次元の問題にあつて、これらの状況に典型的な二重発色様の挙動を示す。 i)$\alpha$が十分に大きい場合のみ、一貫性のある信頼性のあるエラー推定(収束率を与える)を提供できる。 三 過度にパラメータ化された体制$\alpha\! <\! 現代の機械学習の実践に関連する1ドルは、最適な正規化であっても、予測は一貫性がない。

関連論文リスト

• Statistical Inference in Classification of High-dimensional Gaussian Mixture [1.2354076490479515]
  高次元極限における正規化凸分類器の一般クラスの挙動について検討する。 我々の焦点は、推定器の一般化誤差と変数選択性である。
  論文  参考訳（メタデータ） (2024-10-25T19:58:36Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
  最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。 提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
  論文  参考訳（メタデータ） (2022-11-16T15:07:00Z)
• Lazy Estimation of Variable Importance for Large Neural Networks [22.95405462638975]
  そこで本研究では,重要な推論保証付き縮小モデルを高速かつフレキシブルに近似する手法を提案する。 いくつかのデータ生成体制下では,本手法が高速かつ正確であることを示し,季節風予報の例で実世界の適用性を示す。
  論文  参考訳（メタデータ） (2022-07-19T06:28:17Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
  我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。 この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-22T16:43:35Z)
• Dimension Independent Generalization Error by Stochastic Gradient Descent [12.474236773219067]
  本稿では, 局所凸損失関数に対する降下(SGD)解の一般化誤差に関する理論を提案する。 一般化誤差は$p$次元に依存したり、低効用$p$対数因子に依存しないことを示す。
  論文  参考訳（メタデータ） (2020-03-25T03:08:41Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。