論文の概要: Refined Convergence Rates for Maximum Likelihood Estimation under Finite Mixture Models

• arxiv url: http://arxiv.org/abs/2202.08786v1
• Date: Thu, 17 Feb 2022 17:46:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 16:42:23.444938
• Title: Refined Convergence Rates for Maximum Likelihood Estimation under Finite Mixture Models
• Title（参考訳）: 有限混合モデルによる最大近似推定のための精製収束率
• Authors: Tudor Manole, Nhat Ho
• Abstract要約: 有限混合モデル下での最大極大推定(MLE)の収束率を再検討する。 典型的には, ペナル化されたMLEの成分のサブセットは, 過去に予想されていたよりもはるかに早く収束することが示されている。
• 参考スコア（独自算出の注目度）: 13.769786711365104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We revisit convergence rates for maximum likelihood estimation (MLE) under finite mixture models. The Wasserstein distance has become a standard loss function for the analysis of parameter estimation in these models, due in part to its ability to circumvent label switching and to accurately characterize the behaviour of fitted mixture components with vanishing weights. However, the Wasserstein metric is only able to capture the worst-case convergence rate among the remaining fitted mixture components. We demonstrate that when the log-likelihood function is penalized to discourage vanishing mixing weights, stronger loss functions can be derived to resolve this shortcoming of the Wasserstein distance. These new loss functions accurately capture the heterogeneity in convergence rates of fitted mixture components, and we use them to sharpen existing pointwise and uniform convergence rates in various classes of mixture models. In particular, these results imply that a subset of the components of the penalized MLE typically converge significantly faster than could have been anticipated from past work. We further show that some of these conclusions extend to the traditional MLE. Our theoretical findings are supported by a simulation study to illustrate these improved convergence rates.
• Abstract（参考訳）: 有限混合モデル下での最大極大推定(MLE)の収束率を再検討する。 これらのモデルにおけるパラメータ推定の解析において、ワッサースタイン距離は標準損失関数となり、ラベルの切り換えを回避でき、結合した混合成分の挙動を消滅重みで正確に特徴付けることができるようになった。 しかし、ワッサーシュタイン計量は、残りの適合した混合成分の中で最悪の場合の収束率のみを捉えることができる。 対数類似関数をペナル化して混合重みの消滅を阻止すると、より強い損失関数を導出し、ワッサーシュタイン距離のこの欠点を解決することができる。 これらの新しい損失関数は, 適合混合成分の収束率の不均一性を正確に把握し, 各種混合モデルにおける既存点方向および一様収束率の研削に用いた。 特に、これらの結果は、ペナルティ化されたmleの構成要素のサブセットが、通常、過去の作業で予想されていたよりもかなり速く収束することを示している。 さらに、これらの結論のいくつかが従来のMLEにまで拡張されていることを示す。 我々の理論的知見は、これらの収束率を改善するためのシミュレーション研究によって裏付けられている。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Non-negative Tensor Mixture Learning for Discrete Density Estimation [3.9633191508712398]
  非負のテンソル分解に対する期待最大化に基づくフレームワークを提案する。 マルチボディ近似の閉形式解は、Mステップで全てのパラメータを同時に更新することができる。
  論文  参考訳（メタデータ） (2024-05-28T14:28:28Z)
• A General Theory for Softmax Gating Multinomial Logistic Mixture of Experts [28.13187489224953]
  本稿では,入力をゲーティング関数に渡す前に変換する改良型ソフトマックスゲーティング関数を提案する。 その結果, 従来の相互作用は消失し, パラメータ推定率が大幅に向上した。
  論文  参考訳（メタデータ） (2023-10-22T05:32:19Z)
• Mutual Wasserstein Discrepancy Minimization for Sequential Recommendation [82.0801585843835]
  逐次リコメンデーションのためのMutual WasserStein差分最小化MSteinに基づく新しい自己教師型学習フレームワークを提案する。 また,ワッサーシュタイン離散度測定に基づく新しい学習損失を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:38:48Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Uniform Consistency in Nonparametric Mixture Models [12.382836502781258]
  非パラメトリック混合モデルと混合回帰モデルにおける一様整合性について検討する。 混合回帰の場合、回帰関数の$L1$収束を証明し、成分回帰関数を任意に交わすことができる。
  論文  参考訳（メタデータ） (2021-08-31T17:53:52Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Uniform Convergence Rates for Maximum Likelihood Estimation under Two-Component Gaussian Mixture Models [13.769786711365104]
  パラメータ推定のための最大極大推定器と最小極小境界に対する一様収束率を導出する。 混合成分の混合割合は, 既知, 固定されていると仮定するが, 混合成分の分離仮定は行わない。
  論文  参考訳（メタデータ） (2020-06-01T04:13:48Z)
• Robust Density Estimation under Besov IPM Losses [10.079698681921672]
  ハマー汚染モデルにおける非パラメトリック密度推定の最小収束率について検討した。 再スケールされた閾値ウェーブレット級数推定器は,多種多様な損失の下で最小収束率を達成することを示す。
  論文  参考訳（メタデータ） (2020-04-18T11:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。