論文の概要: Self-regularizing Property of Nonparametric Maximum Likelihood Estimator
in Mixture Models
- arxiv url: http://arxiv.org/abs/2008.08244v2
- Date: Mon, 7 Sep 2020 01:10:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 12:36:16.296621
- Title: Self-regularizing Property of Nonparametric Maximum Likelihood Estimator
in Mixture Models
- Title（参考訳）: 混合モデルにおける非パラメトリック最大度推定器の自己レギュライゼーション特性
- Authors: Yury Polyanskiy and Yihong Wu
- Abstract要約: 一般ガウス混合に対する非パラメトリック最大度(NPMLE)モデルを導入する。
サンプルサイズに基づくNPMLEは高い確率で$O(log n)$原子(質量点)を持つことを示す。
特に、任意の混合は、$Olog選択を持つ有限の混合から統計的に入っている。
- 参考スコア（独自算出の注目度）: 39.27013036481509
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Introduced by Kiefer and Wolfowitz \cite{KW56}, the nonparametric maximum
likelihood estimator (NPMLE) is a widely used methodology for learning mixture
odels and empirical Bayes estimation. Sidestepping the non-convexity in mixture
likelihood, the NPMLE estimates the mixing distribution by maximizing the total
likelihood over the space of probability measures, which can be viewed as an
extreme form of overparameterization.
In this paper we discover a surprising property of the NPMLE solution.
Consider, for example, a Gaussian mixture model on the real line with a
subgaussian mixing distribution. Leveraging complex-analytic techniques, we
show that with high probability the NPMLE based on a sample of size $n$ has
$O(\log n)$ atoms (mass points), significantly improving the deterministic
upper bound of $n$ due to Lindsay \cite{lindsay1983geometry1}. Notably, any
such Gaussian mixture is statistically indistinguishable from a finite one with
$O(\log n)$ components (and this is tight for certain mixtures). Thus, absent
any explicit form of model selection, NPMLE automatically chooses the right
model complexity, a property we term \emph{self-regularization}. Extensions to
other exponential families are given. As a statistical application, we show
that this structural property can be harnessed to bootstrap existing Hellinger
risk bound of the (parametric) MLE for finite Gaussian mixtures to the NPMLE
for general Gaussian mixtures, recovering a result of Zhang
\cite{zhang2009generalized}.
- Abstract（参考訳）: kiefer と wolfowitz \cite{kw56} によって導入された nonparametric maximum likelihood estimator (npmle) は odel と経験ベイズ推定の混合を学習するのに広く使われている手法である。
混合度で非凸性を回避するため、npmleは、超過パラメータ化の極端な形式と見なすことができる確率測度の空間上の全確率を最大化することで混合分布を推定する。
本稿では,NPMLE溶液の驚くべき性質について述べる。
例えば、実数直線上のガウス混合モデルとサブガウス混合分布を考える。
複素解析手法を用いることで、NPMLEはサイズ$n$のサンプルに基づいて高い確率で$O(\log n)$原子(質量点)を持ち、Lndsay \cite{lindsay 1983geometry1} による決定論的上限$n$を大幅に改善することを示した。
特に、そのようなガウス混合は、$O(\log n)$成分の有限成分と統計的に区別できない(これは特定の混合に対してきつい)。
したがって、モデル選択の明示的な形式が存在しないため、NPMLEは自動的に正しいモデル複雑性、すなわち 'emph{self-regularization} という性質を選択する。
他の指数族への拡張が与えられる。
統計的応用として、この構造特性は、(パラメトリック) MLE の既存のヘリンジャーリスク境界を一般ガウス混合に対して NPMLE にブートストラップし、Zhang \cite{zhang2009 Generalized} の結果を回復することを示す。
関連論文リスト
- Learning large softmax mixtures with warm start EM [17.081578976570437]
混合多項ロジット(mixed multinomial logits)は、数十年前に導入された、$p$の候補から属性を選択する確率をモデル化するための離散混合である。
ソフトマックス混合はニューラルネットワークの最終層において、$mathbbRL$の大量のベクトルを確率ベクトルにマッピングするために日常的に使用される。
論文 参考訳（メタデータ） (2024-09-16T00:14:48Z) - Universality laws for Gaussian mixtures in generalized linear models [22.154969876570238]
一般化線形推定器の族(Theta_1, dots, Theta_M)の合同統計について検討する。
これにより、トレーニングや一般化エラーなど、異なる量の興味の普遍性を証明できる。
我々は,本研究の結果を,アンサンブルや不確実性など,興味のあるさまざまな機械学習タスクに応用することについて議論する。
論文 参考訳（メタデータ） (2023-02-17T15:16:06Z) - A Robust and Flexible EM Algorithm for Mixtures of Elliptical
Distributions with Missing Data [71.9573352891936]
本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。
楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。
合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
論文 参考訳（メタデータ） (2022-01-28T10:01:37Z) - Clustering a Mixture of Gaussians with Unknown Covariance [4.821312633849745]
最大極大推定に基づくMax-Cut整数プログラムを導出する。
最適な速度を得るが、2次サンプルサイズを必要とする効率的なスペクトルアルゴリズムを開発する。
我々は Max-Cut プログラムを$k$-means プログラムに一般化する。
論文 参考訳（メタデータ） (2021-10-04T17:59:20Z) - Maximum Entropy Reinforcement Learning with Mixture Policies [54.291331971813364]
MaxEntアルゴリズムを用いて混合エントロピーのトラクタブル近似を構築する。
我々は、それが限界エントロピーの合計と密接に関連していることを示しています。
我々は, 混合ポリシーケースに対するsoft actor-critic (sac) のアルゴリズム的変種を導出し, 一連の連続制御タスクで評価する。
論文 参考訳（メタデータ） (2021-03-18T11:23:39Z) - A Rigorous Link Between Self-Organizing Maps and Gaussian Mixture Models [78.6363825307044]
本研究は、自己組織化マップ(SOM)とガウス混合モデル(GMM)の関係を数学的に扱うものである。
我々は,エネルギーベースSOMモデルを勾配勾配下降と解釈できることを示した。
このリンクはSOMsを生成確率モデルとして扱うことができ、SOMsを使用して外れ値を検出したりサンプリングしたりするための正式な正当性を与える。
論文 参考訳（メタデータ） (2020-09-24T14:09:04Z) - Estimation in Tensor Ising Models [5.161531917413708]
N$ノード上の分布から1つのサンプルを与えられた$p$-tensor Isingモデルの自然パラメータを推定する問題を考える。
特に、$sqrt N$-consistency of the MPL estimate in the $p$-spin Sherrington-Kirkpatrick (SK) model。
我々は、$p$-tensor Curie-Weiss モデルの特別な場合における MPL 推定の正確なゆらぎを導出する。
論文 参考訳（メタデータ） (2020-08-29T00:06:58Z) - The EM Algorithm gives Sample-Optimality for Learning Mixtures of
Well-Separated Gaussians [21.780375994511324]
我々は、期待最大化(EM)に対する新しい結果を証明する: EMは、分離された$Omega(sqrtlog k)$の下で局所的に収束することを示す。
我々の結果は、(潜在的に異なる)ガウス成分の事前の知識を前提としない。
論文 参考訳（メタデータ） (2020-02-02T05:09:26Z) - Algebraic and Analytic Approaches for Parameter Learning in Mixture
Models [66.96778152993858]
1次元の混合モデルにおけるパラメータ学習のための2つの異なるアプローチを提案する。
これらの分布のいくつかについては、パラメータ推定の最初の保証を示す。
論文 参考訳（メタデータ） (2020-01-19T05:10:56Z) - Distributed, partially collapsed MCMC for Bayesian Nonparametrics [68.5279360794418]
ディリクレ法やベータ・ベルヌーリ法のようなモデルでよく用いられる完全無作為測度は独立な部分測度に分解可能であるという事実を利用する。
この分解を用いて、潜在測度を、インスタンス化された成分のみを含む有限測度と、他のすべての成分を含む無限測度に分割する。
得られたハイブリッドアルゴリズムは、収束保証を犠牲にすることなくスケーラブルな推論を可能にすることができる。
論文 参考訳（メタデータ） (2020-01-15T23:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。