論文の概要: Estimating the Number of Components in Finite Mixture Models via Variational Approximation

• arxiv url: http://arxiv.org/abs/2404.16746v1
• Date: Thu, 25 Apr 2024 17:00:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 12:41:33.911961
• Title: Estimating the Number of Components in Finite Mixture Models via Variational Approximation
• Title（参考訳）: 変分近似による有限混合モデルの成分数推定
• Authors: Chenyang Wang, Yun Yang,
• Abstract要約: 変動ベイズを用いた有限混合モデル(FMM)における成分数選択法を提案する。 平均場(MF)変動近似から導かれるエビデンス下界(ELBO)の上限値と下界値との整合性を確立した。 証明の副産物として、MF近似が後部分布の安定な挙動(モデル特異性に相応しい)を継承することを示す。
• 参考スコア（独自算出の注目度）: 8.468023518807408
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces a new method for selecting the number of components in finite mixture models (FMMs) using variational Bayes, inspired by the large-sample properties of the Evidence Lower Bound (ELBO) derived from mean-field (MF) variational approximation. Specifically, we establish matching upper and lower bounds for the ELBO without assuming conjugate priors, suggesting the consistency of model selection for FMMs based on maximizing the ELBO. As a by-product of our proof, we demonstrate that the MF approximation inherits the stable behavior (benefited from model singularity) of the posterior distribution, which tends to eliminate the extra components under model misspecification where the number of mixture components is over-specified. This stable behavior also leads to the $n^{-1/2}$ convergence rate for parameter estimation, up to a logarithmic factor, under this model overspecification. Empirical experiments are conducted to validate our theoretical findings and compare with other state-of-the-art methods for selecting the number of components in FMMs.
• Abstract（参考訳）: 本研究は, 平均場 (MF) 変動近似から導かれるエビデンス下界 (ELBO) の大きなサンプル特性に着想を得た, 変分ベイズを用いた有限混合モデル (FMM) の成分数選択法を提案する。 具体的には, 共役前処理を仮定することなく, ELBOの上限値と下限値との整合性を確立し, ELBOの最大化に基づくFMMのモデル選択の整合性を示す。 我々の証明の副産物として、MF近似が後部分布の安定な挙動(モデル特異性に相応しい)を継承することを示した。 この安定な振舞いはまた、パラメータ推定の$n^{-1/2}$収束率を、このモデル過剰特異性の下で対数係数まで導く。 理論的知見を検証し、FMMにおけるコンポーネント数を選択するための他の最先端手法と比較するための実証実験を行った。

関連論文リスト

• Bayesian Model Selection via Mean-Field Variational Approximation [10.433170683584994]
  平均場(MF)推論の非漸近特性をベイズ的枠組みの下で検討する。 BvM(Bernstein von-Mises)定理は、MF からの変分分布をモデル的不特定性(英語版)の下で表す。
  論文  参考訳（メタデータ） (2023-12-17T04:48:25Z)
• Generative Fractional Diffusion Models [53.36835573822926]
  我々は,その基礎となる力学に分数拡散過程を利用する,最初の連続時間スコアベース生成モデルを導入する。 実画像データを用いた評価では,GFDMはFIDが低い値で示されるように,画素幅の多様性と画質の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:53:24Z)
• A General Theory for Softmax Gating Multinomial Logistic Mixture of Experts [28.13187489224953]
  本稿では,入力をゲーティング関数に渡す前に変換する改良型ソフトマックスゲーティング関数を提案する。 その結果, 従来の相互作用は消失し, パラメータ推定率が大幅に向上した。
  論文  参考訳（メタデータ） (2023-10-22T05:32:19Z)
• Robust Bayesian Nonnegative Matrix Factorization with Implicit Regularizers [4.913248451323163]
  非負行列因数分解(NMF)学習のための暗黙ノルム正規化を用いた確率モデルを導入する。 がんにおける薬物感受性のゲノムを含む実世界のいくつかのデータセットでモデルを評価した。
  論文  参考訳（メタデータ） (2022-08-22T04:34:17Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach [6.509758931804479]
  提案したモデルは、従来のランダムユーティリティ仕様に代わるアプローチとして混合モデルを用いて潜在クラスを定式化する。 その結果,混合モデルにより潜在クラス選択モデル全体の性能が向上した。
  論文  参考訳（メタデータ） (2020-07-06T13:19:26Z)
• Estimating the Number of Components in Finite Mixture Models via the Group-Sort-Fuse Procedure [0.974672460306765]
  GSF(Group-Sort-Fuse)は、有限混合モデルにおける秩序と混合度を同時推定するための新しいペナル化可能性手法である。 GSFは, パラメータ推定における真の混合次数と$n-1/2$収束率を多対数因子まで推定する上で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-05-24T02:38:12Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)
• Distributed, partially collapsed MCMC for Bayesian Nonparametrics [68.5279360794418]
  ディリクレ法やベータ・ベルヌーリ法のようなモデルでよく用いられる完全無作為測度は独立な部分測度に分解可能であるという事実を利用する。 この分解を用いて、潜在測度を、インスタンス化された成分のみを含む有限測度と、他のすべての成分を含む無限測度に分割する。 得られたハイブリッドアルゴリズムは、収束保証を犠牲にすることなくスケーラブルな推論を可能にすることができる。
  論文  参考訳（メタデータ） (2020-01-15T23:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。