論文の概要: $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets
- arxiv url: http://arxiv.org/abs/2203.13568v1
- Date: Fri, 25 Mar 2022 10:54:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-28 13:08:34.309967
- Title: $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets
- Title（参考訳）: p$一般化したprobit回帰とsketchingとcoresetsによるスケーラブルな最大度推定
- Authors: Alexander Munteanu, Simon Omlor, Christian Peters
- Abstract要約: 本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
- 参考スコア（独自算出の注目度）: 74.37849422071206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the $p$-generalized probit regression model, which is a generalized
linear model for binary responses. It extends the standard probit model by
replacing its link function, the standard normal cdf, by a $p$-generalized
normal distribution for $p\in[1, \infty)$. The $p$-generalized normal
distributions \citep{Sub23} are of special interest in statistical modeling
because they fit much more flexibly to data. Their tail behavior can be
controlled by choice of the parameter $p$, which influences the model's
sensitivity to outliers. Special cases include the Laplace, the Gaussian, and
the uniform distributions. We further show how the maximum likelihood estimator
for $p$-generalized probit regression can be approximated efficiently up to a
factor of $(1+\varepsilon)$ on large data by combining sketching techniques
with importance subsampling to obtain a small data summary called coreset.
- Abstract（参考訳）: 我々は,バイナリ応答の一般化線形モデルである$p$一般化プロビット回帰モデルについて検討した。
標準のprobitモデルを拡張し、標準の通常のcdfであるリンク関数を$p$一般化正規分布で$p\in[1, \infty)$に置き換える。
p$ 一般化正規分布 \citep{sub23} はデータにより柔軟に適合するため、統計モデリングに特に興味を持つ。
尾の挙動はパラメータ $p$ の選択によって制御できるが、これはモデルの異常値に対する感度に影響する。
特別な例としては、ラプラス、ガウス、一様分布がある。
さらに,1+\varepsilon)$という大容量データに対して,p$一般化されたプロビット回帰に対する最大確率推定器を,スケッチ技法と重要部分サンプリングを組み合わせることで効率的に近似し,coresetと呼ばれる小さなデータ要約を得る方法を示す。
関連論文リスト
- Highly Adaptive Ridge [84.38107748875144]
直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。
Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。
我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
論文 参考訳（メタデータ） (2024-10-03T17:06:06Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Universality laws for Gaussian mixtures in generalized linear models [22.154969876570238]
一般化線形推定器の族(Theta_1, dots, Theta_M)の合同統計について検討する。
これにより、トレーニングや一般化エラーなど、異なる量の興味の普遍性を証明できる。
我々は,本研究の結果を,アンサンブルや不確実性など,興味のあるさまざまな機械学習タスクに応用することについて議論する。
論文 参考訳（メタデータ） (2023-02-17T15:16:06Z) - Dimension free ridge regression [10.434481202633458]
我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。
新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
論文 参考訳（メタデータ） (2022-10-16T16:01:05Z) - Variational Inference for Bayesian Bridge Regression [0.0]
橋梁のペナル化を伴う回帰モデルに対するベイズ推定のための自動微分変分推論(ADVI)の実装について検討する。
ブリッジアプローチは $ell_alpha$ norm を使い、回帰係数の大きな値に対するペナル化を定義するために $alpha in (0, +infty)$ を用いる。
B-スプラインを持つ非パラメトリック回帰モデルに対するアプローチについて説明するが、この手法は基底関数の他の選択に対してシームレスに機能する。
論文 参考訳（メタデータ） (2022-05-19T12:29:09Z) - On the Generative Utility of Cyclic Conditionals [103.1624347008042]
2つの条件付きモデル$p(x|z)$を用いて、共同分布$p(x,z)$をモデル化できるかどうか、また、どのようにしてサイクルを形成するかを検討する。
本稿では,周期条件生成モデリングのためのCyGenフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-30T10:23:45Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳（メタデータ） (2020-10-19T07:15:38Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。