論文の概要: High-dimensional logistic regression with missing data: Imputation, regularization, and universality
- arxiv url: http://arxiv.org/abs/2410.01093v1
- Date: Tue, 1 Oct 2024 21:41:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 23:20:41.422280
- Title: High-dimensional logistic regression with missing data: Imputation, regularization, and universality
- Title（参考訳）: 欠落データを用いた高次元ロジスティック回帰:インプット、正規化、普遍性
- Authors: Kabir Aladin Verchand, Andrea Montanari,
- Abstract要約: 我々は高次元リッジ規則化ロジスティック回帰について検討する。
予測誤差と推定誤差の両方を正確に評価する。
- 参考スコア（独自算出の注目度）: 7.167672851569787
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study high-dimensional, ridge-regularized logistic regression in a setting in which the covariates may be missing or corrupted by additive noise. When both the covariates and the additive corruptions are independent and normally distributed, we provide exact characterizations of both the prediction error as well as the estimation error. Moreover, we show that these characterizations are universal: as long as the entries of the data matrix satisfy a set of independence and moment conditions, our guarantees continue to hold. Universality, in turn, enables the detailed study of several imputation-based strategies when the covariates are missing completely at random. We ground our study by comparing the performance of these strategies with the conjectured performance -- stemming from replica theory in statistical physics -- of the Bayes optimal procedure. Our analysis yields several insights including: (i) a distinction between single imputation and a simple variant of multiple imputation and (ii) that adding a simple ridge regularization term to single-imputed logistic regression can yield an estimator whose prediction error is nearly indistinguishable from the Bayes optimal prediction error. We supplement our findings with extensive numerical experiments.
- Abstract（参考訳）: 本研究では,高次元のリッジ規則化ロジスティック回帰について,加法雑音によって共変体が欠落したり破損したりするような条件下で検討する。
共変量と加法汚職が独立で、通常分散している場合、予測誤差と推定誤差の両方を正確に特徴づける。
さらに、これらの特徴は普遍的であることを示し、データマトリックスのエントリが一連の独立性とモーメント条件を満たす限り、保証は維持され続けます。
普遍性は、共変量体がランダムに完全に欠落しているときに、いくつかの計算に基づく戦略の詳細な研究を可能にする。
ベイズ最適手順の統計物理学におけるレプリカ理論から派生した予想された性能と,これらの戦略の性能を比較することにより,本研究の基盤となる。
私たちの分析ではいくつかの洞察を得ています。
一 単命令と多命令の単純変種とを区別すること
(2) 単入力ロジスティック回帰に単純なリッジ正規化項を加えると、ベイズ最適予測誤差とほぼ区別できない予測誤差を持つ推定器が得られる。
我々はこの結果に広範な数値実験を加えて補足する。
関連論文リスト
- Asymptotics of Linear Regression with Linearly Dependent Data [28.005935031887038]
非ガウス共変量の設定における線形回帰の計算について検討する。
本稿では,依存性が推定誤差と正規化パラメータの選択にどのように影響するかを示す。
論文 参考訳（メタデータ） (2024-12-04T20:31:47Z) - Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。
さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
論文 参考訳（メタデータ） (2024-08-08T17:27:29Z) - A Provably Accurate Randomized Sampling Algorithm for Logistic Regression [2.7930955543692817]
本稿では,ロジスティック回帰問題に対する単純なランダム化サンプリングに基づくアルゴリズムを提案する。
正確な近似は、観測総数よりもはるかに小さい試料で達成できることを示す。
概して、ロジスティック回帰における推定確率を効率的に近似するためにランダム化サンプリング手法を用いる可能性に光を当てている。
論文 参考訳（メタデータ） (2024-02-26T06:20:28Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - RIGID: Robust Linear Regression with Missing Data [7.638042073679073]
機能に欠落したエントリで線形回帰を行うための堅牢なフレームワークを提案する。
本稿では,変数間の依存性を自然に考慮した定式化が,凸プログラムに還元されることを示す。
詳細な分析に加えて,提案するフレームワークの挙動を分析し,技術的議論を行う。
論文 参考訳（メタデータ） (2022-05-26T21:10:17Z) - Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics
for Convex Losses in High-Dimension [25.711297863946193]
我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。
一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:44:58Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Statistical Inference for High-Dimensional Linear Regression with
Blockwise Missing Data [13.48481978963297]
ブロックワイドなデータは、異なるソースまたはモダリティが相補的な情報を含むマルチソースまたはマルチモダリティデータを統合するときに発生する。
本稿では,未偏差推定方程式に基づいて回帰係数ベクトルを計算効率良く推定する手法を提案する。
アルツハイマー病神経画像イニシアチブの数値的研究と応用分析により、提案手法は既存の方法よりも教師なしのサンプルからより優れた性能と利益を得られることを示した。
論文 参考訳（メタデータ） (2021-06-07T05:12:42Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。