論文の概要: Observable adjustments in single-index models for regularized
M-estimators
- arxiv url: http://arxiv.org/abs/2204.06990v3
- Date: Wed, 3 Jan 2024 17:41:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 17:32:06.663209
- Title: Observable adjustments in single-index models for regularized
M-estimators
- Title（参考訳）: 正規化m推定器のためのシングルインデックスモデルの可観測調整
- Authors: Pierre C Bellec
- Abstract要約: サンプルサイズが$n$ と dimension$p$ がともに増加するレジームでは、$hatbeta$ と予測値 $Xhatbeta$ の実証分布の振る舞いが以前特徴づけられた。
本稿では、$hatbeta$と$Xhatbeta$の実証分布を記述するために異なる理論を開発する。
- 参考スコア（独自算出の注目度）: 3.5353632767823506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider observations $(X,y)$ from single index models with unknown link
function, Gaussian covariates and a regularized M-estimator $\hat\beta$
constructed from convex loss function and regularizer. In the regime where
sample size $n$ and dimension $p$ are both increasing such that $p/n$ has a
finite limit, the behavior of the empirical distribution of $\hat\beta$ and the
predicted values $X\hat\beta$ has been previously characterized in a number of
models: The empirical distributions are known to converge to proximal operators
of the loss and penalty in a related Gaussian sequence model, which captures
the interplay between ratio $p/n$, loss, regularization and the data generating
process. This connection between$(\hat\beta,X\hat\beta)$ and the corresponding
proximal operators require solving fixed-point equations that typically involve
unobservable quantities such as the prior distribution on the index or the link
function.
This paper develops a different theory to describe the empirical distribution
of $\hat\beta$ and $X\hat\beta$: Approximations of $(\hat\beta,X\hat\beta)$ in
terms of proximal operators are provided that only involve observable
adjustments. These proposed observable adjustments are data-driven, e.g., do
not require prior knowledge of the index or the link function. These new
adjustments yield confidence intervals for individual components of the index,
as well as estimators of the correlation of $\hat\beta$ with the index. The
interplay between loss, regularization and the model is thus captured in a
data-driven manner, without solving the fixed-point equations studied in
previous works. The results apply to both strongly convex regularizers and
unregularized M-estimation. Simulations are provided for the square and
logistic loss in single index models including logistic regression and 1-bit
compressed sensing with 20\% corrupted bits.
- Abstract（参考訳）: 我々は、未知のリンク関数を持つ単一インデックスモデルからの観測$(X,y)$、ガウス共変量および凸損失関数と正則化子から構築された正規化されたM-推定子$\hat\beta$を考える。
In the regime where sample size $n$ and dimension $p$ are both increasing such that $p/n$ has a finite limit, the behavior of the empirical distribution of $\hat\beta$ and the predicted values $X\hat\beta$ has been previously characterized in a number of models: The empirical distributions are known to converge to proximal operators of the loss and penalty in a related Gaussian sequence model, which captures the interplay between ratio $p/n$, loss, regularization and the data generating process.
この$(\hat\beta,x\hat\beta) と対応する近位作用素の間の接続は、インデックスやリンク関数の事前分布のような観測不能な量を含む固定点方程式を解く必要がある。
本稿では、観測可能な調整のみを含む近似作用素の観点で、$\hat\beta$ と $X\hat\beta$: $(\hat\beta,X\hat\beta)$ の近似を記述するための別の理論を開発する。
これらの観測可能な調整はデータ駆動であり、インデックスやリンク関数の事前知識を必要としない。
これらの新たな調整は、インデックスの個々のコンポーネントに対する信頼区間と、$\hat\beta$とインデックスとの相関を推定する。
損失、正規化、モデルの間の相互作用は、以前の研究で研究された固定点方程式を解くことなく、データ駆動方式でキャプチャされる。
結果は、強い凸正則化と非正規化M推定の両方に適用できる。
ロジスティック回帰や1ビット圧縮センシングを含む単一インデックスモデルの正方形およびロジスティック損失に対する20\%崩壊ビットのシミュレーションを提供する。
関連論文リスト
- Precise Asymptotics of Bagging Regularized M-estimators [5.165142221427928]
我々は,アンサンブル推定器の正方形予測リスクを,正規化M値推定器のサブタグ化(サブサンプルブートストラップ集約)により特徴付ける。
我々の分析の鍵は、重なり合うサブサンプル上の推定値と残差との相関関係の結合挙動に関する新しい結果である。
サブサンプルサイズ,アンサンブルサイズ,正規化の併用最適化は,全データに対してのみ,正規化器の最適化を著しく上回る。
論文 参考訳（メタデータ） (2024-09-23T17:48:28Z) - Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。
適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
論文 参考訳（メタデータ） (2024-05-24T11:22:19Z) - Optimal score estimation via empirical Bayes smoothing [13.685846094715364]
未知確率分布$rho*$のスコア関数を$n$独立分布および$d$次元における同一分布観測から推定する問題について検討する。
ガウスカーネルに基づく正規化スコア推定器は、一致するミニマックス下界によって最適に示され、この値が得られることを示す。
論文 参考訳（メタデータ） (2024-02-12T16:17:40Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Asymptotic Characterisation of Robust Empirical Risk Minimisation
Performance in the Presence of Outliers [18.455890316339595]
我々は,次元$d$とデータ点数$n$が固定比$alpha=n/d$で分岐した場合,高次元の線形回帰について検討し,出力率を含むデータモデルについて検討する。
我々は、$ell$-regularized $ell$, $ell_$, Huber損失を用いて、経験的リスク最小化(ERM)のパフォーマンスの正確性を提供する。
論文 参考訳（メタデータ） (2023-05-30T12:18:39Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳（メタデータ） (2022-03-25T10:54:41Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Estimation in Tensor Ising Models [5.161531917413708]
N$ノード上の分布から1つのサンプルを与えられた$p$-tensor Isingモデルの自然パラメータを推定する問題を考える。
特に、$sqrt N$-consistency of the MPL estimate in the $p$-spin Sherrington-Kirkpatrick (SK) model。
我々は、$p$-tensor Curie-Weiss モデルの特別な場合における MPL 推定の正確なゆらぎを導出する。
論文 参考訳（メタデータ） (2020-08-29T00:06:58Z) - The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。
この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
論文 参考訳（メタデータ） (2020-06-22T16:43:35Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。