論文の概要: Universality laws for Gaussian mixtures in generalized linear models
- arxiv url: http://arxiv.org/abs/2302.08933v1
- Date: Fri, 17 Feb 2023 15:16:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-20 14:26:50.585034
- Title: Universality laws for Gaussian mixtures in generalized linear models
- Title（参考訳）: 一般化線形モデルにおけるガウス混合の普遍性則
- Authors: Yatin Dandi, Ludovic Stephan, Florent Krzakala, Bruno Loureiro and
Lenka Zdeborov\'a
- Abstract要約: 一般化線形推定器の族(Theta_1, dots, Theta_M)の合同統計について検討する。
これにより、トレーニングや一般化エラーなど、異なる量の興味の普遍性を証明できる。
我々は,本研究の結果を,アンサンブルや不確実性など,興味のあるさまざまな機械学習タスクに応用することについて議論する。
- 参考スコア（独自算出の注目度）: 22.154969876570238
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Let $(x_{i}, y_{i})_{i=1,\dots,n}$ denote independent samples from a general
mixture distribution $\sum_{c\in\mathcal{C}}\rho_{c}P_{c}^{x}$, and consider
the hypothesis class of generalized linear models $\hat{y} =
F(\Theta^{\top}x)$. In this work, we investigate the asymptotic joint
statistics of the family of generalized linear estimators $(\Theta_{1}, \dots,
\Theta_{M})$ obtained either from (a) minimizing an empirical risk
$\hat{R}_{n}(\Theta;X,y)$ or (b) sampling from the associated Gibbs measure
$\exp(-\beta n \hat{R}_{n}(\Theta;X,y))$. Our main contribution is to
characterize under which conditions the asymptotic joint statistics of this
family depends (on a weak sense) only on the means and covariances of the class
conditional features distribution $P_{c}^{x}$. In particular, this allow us to
prove the universality of different quantities of interest, such as the
training and generalization errors, redeeming a recent line of work in
high-dimensional statistics working under the Gaussian mixture hypothesis.
Finally, we discuss the applications of our results to different machine
learning tasks of interest, such as ensembling and uncertainty
- Abstract（参考訳）: $(x_{i}, y_{i})_{i=1,\dots,n}$ は一般混合分布 $\sum_{c\in\mathcal{C}}\rho_{c}P_{c}^{x}$ からの独立なサンプルを示し、一般化線型モデルの仮説クラス $\hat{y} = F(\Theta^{\top}x)$ を考える。
本研究では,一般化線形推定器の族である $(\theta_{1}, \dots, \theta_{m})$ の漸近合同統計について検討する。
(a)経験的リスク $\hat{R}_{n}(\Theta;X,y)$ を最小化する
(b)関連するギブスからのサンプリングは、$\exp(-\beta n \hat{r}_{n}(\theta;x,y))$である。
我々の主な貢献は、この族の漸近的合同統計が(弱い意味で)クラス条件特徴分布の手段と共分散にのみ依存する条件下で特徴づけることである。
特に、これはガウス混合仮説の下で働く高次元統計学における最近の研究の行を再評価することで、訓練や一般化誤差のような異なる量の興味の普遍性を証明できる。
最後に、センシングや不確実性など、異なる機械学習タスクに対する結果の適用について論じる。
関連論文リスト
- Sum-of-squares lower bounds for Non-Gaussian Component Analysis [33.80749804695003]
非ガウス成分分析(Non-Gaussian Component Analysis、NGCA)は、高次元データセットにおいて非ガウス方向を求める統計的タスクである。
本稿では Sum-of-Squares フレームワークにおける NGCA の複雑さについて考察する。
論文 参考訳（メタデータ） (2024-10-28T18:19:13Z) - Sharp Rates in Dependent Learning Theory: Avoiding Sample Size Deflation for the Square Loss [33.18537822803389]
L2$ と $Psi_p$ の位相が我々の仮説クラス $mathscrF$, $mathscrF$ に同値であるときにいつでも、$mathscrF$ は弱準ガウス類であることを示す。
以上の結果から, 混合への直接的な依存は高次項に還元されるため, この問題は実現可能か否かを判断できる。
論文 参考訳（メタデータ） (2024-02-08T18:57:42Z) - Estimation and Inference in Distributional Reinforcement Learning [28.253677740976197]
サイズ$widetilde Oleft(frac|mathcalS||mathcalA|epsilon2 (1-gamma)4right)$ suffices to ensure the Kolmogorov metric and total variation metric between $hatetapi$ and $etapi$ is below $epsilon$ with high probability。
以上の結果から,多種多様な統計的汎関数の統計的推測への統一的アプローチがもたらされた。
論文 参考訳（メタデータ） (2023-09-29T14:14:53Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。
特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
論文 参考訳（メタデータ） (2023-09-17T01:45:13Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳（メタデータ） (2022-03-25T10:54:41Z) - Universality of empirical risk minimization [12.764655736673749]
例えば、$boldsymbol x_i inmathbbRp$ が特徴ベクトルで $y in mathbbR$ がラベルであるような i.d. サンプルからの教師付き学習を考える。
我々は$mathsfkによってパラメータ化される関数のクラスに対する経験的リスク普遍性について研究する。
論文 参考訳（メタデータ） (2022-02-17T18:53:45Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳（メタデータ） (2020-12-31T18:24:41Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。