論文の概要: Hierarchical mixtures of Unigram models for short text clustering: the role of Beta-Liouville priors
- arxiv url: http://arxiv.org/abs/2410.21862v1
- Date: Tue, 29 Oct 2024 08:56:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:41:41.449445
- Title: Hierarchical mixtures of Unigram models for short text clustering: the role of Beta-Liouville priors
- Title（参考訳）: 短文クラスタリングのためのUnigramモデルの階層的混合:β-Liouville前駆体の役割
- Authors: Massimo Bilancia, Samuele Magro,
- Abstract要約: 本稿では,短いテキストデータの教師なし分類に適した多項混合モデルの変種について述べる。
これはディリクレよりも柔軟な相関構造を提供する。
- 参考スコア（独自算出の注目度）: 1.03590082373586
- License:
- Abstract: This paper presents a variant of the Multinomial mixture model tailored for the unsupervised classification of short text data. Traditionally, the Multinomial probability vector in this hierarchical model is assigned a Dirichlet prior distribution. Here, however, we explore an alternative prior - the Beta-Liouville distribution - which offers a more flexible correlation structure than the Dirichlet. We examine the theoretical properties of the Beta-Liouville distribution, focusing on its conjugacy with the Multinomial likelihood. This property enables the derivation of update equations for a CAVI (Coordinate Ascent Variational Inference) variational algorithm, facilitating the approximate posterior estimation of model parameters. Additionally, we propose a stochastic variant of the CAVI algorithm that enhances scalability. The paper concludes with data examples that demonstrate effective strategies for setting the Beta-Liouville hyperparameters.
- Abstract（参考訳）: 本稿では,短いテキストデータの教師なし分類に適した多項混合モデルの変種について述べる。
伝統的に、この階層モデルの多項確率ベクトルはディリクレ事前分布に割り当てられる。
しかしここでは、ディリクレよりもフレキシブルな相関構造を提供する、前者であるベータ・リウヴィル分布について検討する。
ベータ・リウヴィル分布の理論的性質について検討し,多項確率との共役性に着目した。
この性質により、CAVI (Coordinate Ascent Variational Inference) 変分アルゴリズムの更新方程式の導出が可能となり、モデルパラメータの近似的推定が容易となる。
さらに,スケーラビリティを向上するCAVIアルゴリズムの確率的変種を提案する。
論文は、ベータ・リウヴィルハイパーパラメータの設定に有効な戦略を示すデータ例で締めくくっている。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - Binary classification based Monte Carlo simulation [0.0]
シミュレーションと分類の橋渡しにより、pdf-ratio-based Simulationアルゴリズムのpdfフリーバージョンを提案することができる。
確率論的モデリングの観点から,本手法は,従来のサンプルと容易に訓練でき,互換性のある構造的エネルギーベースモデルを含む。
論文 参考訳（メタデータ） (2023-07-29T17:53:31Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳（メタデータ） (2022-04-02T06:32:19Z) - Probabilistic Embeddings with Laplacian Graph Priors [0.0]
本モデルでは, 従来提案されていた埋め込み手法を1つの傘の下に統一する。
実験により,本モデルが過去のモデルの性能と特殊ケースとを一致させることを示す。
異なる設定でフレキシブルな見積もりを可能にする実装としてコードを提供します。
論文 参考訳（メタデータ） (2022-03-25T13:33:51Z) - On Robust Probabilistic Principal Component Analysis using Multivariate
$t$-Distributions [0.30458514384586394]
本稿では,高レベルの多変量$t$-PPCAフレームワークと,実装に使用される階層モデルとの等価な関係について述べる。
また,モンテカルロ予測最大化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-21T06:49:20Z) - Fast Maximum Likelihood Estimation and Supervised Classification for the
Beta-Liouville Multinomial [0.0]
ベータ・リウヴィル乗算はニュートン・ラフソンの最大推定におけるディリクレ乗算に匹敵する効率であることを示す。
また,4つの金標準データセットのうち2つにおいて,β-Liouville多重項が多重項およびディリクレ多重項よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-12T20:30:12Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z) - CatBoostLSS -- An extension of CatBoost to probabilistic forecasting [91.3755431537592]
本稿では,不可変応答変数の条件分布全体を予測する新しいフレームワークを提案する。
CatBoostLSSは条件平均のみではなくパラメトリック分布のすべてのモーメントをモデル化する。
提案手法の利点を実証するシミュレーション研究と実世界の実例を共に提示する。
論文 参考訳（メタデータ） (2020-01-04T15:42:44Z) - Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。
我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
論文 参考訳（メタデータ） (2019-12-30T17:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。