論文の概要: Hierarchical mixtures of Unigram models for short text clustering: The role of Beta-Liouville priors
- arxiv url: http://arxiv.org/abs/2410.21862v3
- Date: Mon, 28 Apr 2025 10:27:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 18:43:10.983635
- Title: Hierarchical mixtures of Unigram models for short text clustering: The role of Beta-Liouville priors
- Title（参考訳）: 短文クラスタリングのためのUnigramモデルの階層的混合:Beta-Liouville前駆体の役割
- Authors: Massimo Bilancia, Samuele Magro,
- Abstract要約: 本稿では,短文データの教師なし分類に適した多項混合モデルの変種について述べる。
ベータ・リウヴィル分布の理論的性質について検討し、特に多項確率との共役性に着目した。
- 参考スコア（独自算出の注目度）: 1.03590082373586
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a variant of the Multinomial mixture model tailored to the unsupervised classification of short text data. While the Multinomial probability vector is traditionally assigned a Dirichlet prior distribution, this work explores an alternative formulation based on the Beta-Liouville distribution, which offers a more flexible correlation structure than the Dirichlet. We examine the theoretical properties of the Beta-Liouville distribution, with particular focus on its conjugacy with the Multinomial likelihood. This property enables the derivation of update equations for a CAVI (Coordinate Ascent Variational Inference) algorithm, facilitating approximate posterior inference of the model parameters. In addition, we introduce a stochastic variant of the CAVI algorithm to enhance scalability. The paper concludes with empirical examples demonstrating effective strategies for selecting the Beta-Liouville hyperparameters.
- Abstract（参考訳）: 本稿では,短文データの教師なし分類に適した多項混合モデルの変種について述べる。
多項確率ベクトルは伝統的にディリクレ事前分布に割り当てられるが、この研究は、ディリクレよりも柔軟な相関構造を提供するβ-リウヴィル分布に基づく別の定式化を探求する。
ベータ・リウヴィル分布の理論的性質について検討し、特に多項確率との共役性に着目した。
この性質により、CAVI (Coordinate Ascent Variational Inference) アルゴリズムの更新方程式の導出が可能となり、モデルパラメータの近似後部推論が容易となる。
さらに,拡張性を高めるために,CAVIアルゴリズムの確率的変形を導入する。
本稿は,β-Liouvilleハイパーパラメータの選択に有効な戦略を示す実証的な例で締めくくっている。
関連論文リスト
- Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。
本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-04T17:46:51Z) - Generative Modeling with Bayesian Sample Inference [50.07758840675341]
我々はガウス的後代推論の単純な作用から新しい生成モデルを導出する。
生成したサンプルを未知変数として推論することで、ベイズ確率の言語でサンプリングプロセスを定式化する。
我々のモデルは、未知のサンプルを広い初期信念から絞り込むために、一連の予測と後続の更新ステップを使用する。
論文 参考訳（メタデータ） (2025-02-11T14:27:10Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Binary classification based Monte Carlo simulation [0.0]
シミュレーションと分類の橋渡しにより、pdf-ratio-based Simulationアルゴリズムのpdfフリーバージョンを提案することができる。
確率論的モデリングの観点から,本手法は,従来のサンプルと容易に訓練でき,互換性のある構造的エネルギーベースモデルを含む。
論文 参考訳（メタデータ） (2023-07-29T17:53:31Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Bayesian Discrete Conditional Transformation Models [0.0]
本稿では,応答の条件変換に基づく離散順序数とカウントデータのための新しいベイズモデルフレームワークを提案する。
数え上げ応答に対して、結果の変換モデルはベイズ完全パラメトリックであるが分布自由なアプローチである。
推論は、ジェネリックモジュラー・マルコフ連鎖モンテカルロアルゴリズムによって行われる。
論文 参考訳（メタデータ） (2022-05-17T19:26:43Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳（メタデータ） (2022-04-02T06:32:19Z) - Probabilistic Embeddings with Laplacian Graph Priors [0.0]
本モデルでは, 従来提案されていた埋め込み手法を1つの傘の下に統一する。
実験により,本モデルが過去のモデルの性能と特殊ケースとを一致させることを示す。
異なる設定でフレキシブルな見積もりを可能にする実装としてコードを提供します。
論文 参考訳（メタデータ） (2022-03-25T13:33:51Z) - Implicit Generative Copulas [0.0]
我々は、暗黙的な生成ニューラルネットワークに基づく柔軟な、しかし概念的には単純な代替案を提案する。
ファイナンス、物理、画像生成の合成および実データに関する実験は、このアプローチの性能を実証している。
論文 参考訳（メタデータ） (2021-09-29T17:05:30Z) - On Robust Probabilistic Principal Component Analysis using Multivariate
$t$-Distributions [0.30458514384586394]
本稿では,高レベルの多変量$t$-PPCAフレームワークと,実装に使用される階層モデルとの等価な関係について述べる。
また,モンテカルロ予測最大化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-21T06:49:20Z) - Fast Maximum Likelihood Estimation and Supervised Classification for the
Beta-Liouville Multinomial [0.0]
ベータ・リウヴィル乗算はニュートン・ラフソンの最大推定におけるディリクレ乗算に匹敵する効率であることを示す。
また,4つの金標準データセットのうち2つにおいて,β-Liouville多重項が多重項およびディリクレ多重項よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-12T20:30:12Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z) - CatBoostLSS -- An extension of CatBoost to probabilistic forecasting [91.3755431537592]
本稿では,不可変応答変数の条件分布全体を予測する新しいフレームワークを提案する。
CatBoostLSSは条件平均のみではなくパラメトリック分布のすべてのモーメントをモデル化する。
提案手法の利点を実証するシミュレーション研究と実世界の実例を共に提示する。
論文 参考訳（メタデータ） (2020-01-04T15:42:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。