論文の概要: Gaussian Hierarchical Latent Dirichlet Allocation: Bringing Polysemy
Back
- arxiv url: http://arxiv.org/abs/2002.10855v2
- Date: Wed, 7 Jun 2023 08:51:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 20:50:43.058768
- Title: Gaussian Hierarchical Latent Dirichlet Allocation: Bringing Polysemy
Back
- Title(参考訳): Gaussian Hierarchical Latent Dirichlet Allocation: bring polysemy back
- Authors: Takahiro Yoshida, Ryohei Hisano, Takaaki Ohnishi
- Abstract要約: トピックモデルは、文書の集合の潜在表現を発見するために広く使用される。
本稿では,ガウスの潜伏ディリクレアロケーションがポリセミーを捕捉する能力を回復できることを示す。
提案モデルはまた,幅広いコーパスや単語埋め込みベクトルに対して,より優れたトピックコヒーレンスと文書予測精度を実現する。
- 参考スコア(独自算出の注目度): 3.480626767752489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Topic models are widely used to discover the latent representation of a set
of documents. The two canonical models are latent Dirichlet allocation, and
Gaussian latent Dirichlet allocation, where the former uses multinomial
distributions over words, and the latter uses multivariate Gaussian
distributions over pre-trained word embedding vectors as the latent topic
representations, respectively. Compared with latent Dirichlet allocation,
Gaussian latent Dirichlet allocation is limited in the sense that it does not
capture the polysemy of a word such as ``bank.'' In this paper, we show that
Gaussian latent Dirichlet allocation could recover the ability to capture
polysemy by introducing a hierarchical structure in the set of topics that the
model can use to represent a given document. Our Gaussian hierarchical latent
Dirichlet allocation significantly improves polysemy detection compared with
Gaussian-based models and provides more parsimonious topic representations
compared with hierarchical latent Dirichlet allocation. Our extensive
quantitative experiments show that our model also achieves better topic
coherence and held-out document predictive accuracy over a wide range of corpus
and word embedding vectors.
- Abstract(参考訳): トピックモデルは、文書の集合の潜在表現を発見するために広く使用される。
2つの正準モデルは遅延ディリクレアロケーション(英語版)とガウス潜在ディリクレアロケーション(英語版)であり、前者は単語よりも多項分布を使い、後者は事前訓練された単語埋め込みベクトル上の多変数ガウス分布を潜在話題表現として使用する。
潜在ディリクレ割当と比較して、ガウスの潜在ディリクレ割当は ``bank のような単語のポリセミーを捉えないという意味で制限されている。
本稿では,ガウスの潜在ディリクレアロケーションが,与えられた文書を表現するためにモデルが使用できるトピックの集合に階層構造を導入することで,ポリセミーを捉える能力を回復できることを示す。
我々のガウス的階層的潜在ディリクレ割当てはガウス的モデルと比較して多節的検出を著しく改善し、階層的潜在ディリクレ割当てよりもパロジ的な話題表現を提供する。
広範にわたる定量的実験により,我々のモデルは,幅広いコーパスと単語埋め込みベクトルに対して,より優れたトピックコヒーレンスと文書予測精度を実現することを示した。
関連論文リスト
- Hierarchical mixtures of Unigram models for short text clustering: the role of Beta-Liouville priors [1.03590082373586]
本稿では,短いテキストデータの教師なし分類に適した多項混合モデルの変種について述べる。
我々は、ディリクレよりもフレキシブルな相関構造を提供する別の先入観(β-Liouville分布)を探求する。
論文 参考訳(メタデータ) (2024-10-29T08:56:29Z) - Learning Disentangled Discrete Representations [22.5004558029479]
本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。
本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
論文 参考訳(メタデータ) (2023-07-26T12:29:58Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Wrapped Distributions on homogeneous Riemannian manifolds [58.720142291102135]
パラメータ、対称性、モダリティなどの分布の性質の制御は、フレキシブルな分布の族を生み出す。
変動型オートエンコーダと潜在空間ネットワークモデル内で提案した分布を利用して,我々のアプローチを実証的に検証する。
論文 参考訳(メタデータ) (2022-04-20T21:25:21Z) - Polynomial Networks in Deep Classifiers [55.90321402256631]
我々は深層ニューラルネットワークの研究を統一的な枠組みで行った。
私たちのフレームワークは、各モデルの誘導バイアスに関する洞察を提供します。
提案モデルの有効性を,標準画像および音声分類ベンチマークで評価した。
論文 参考訳(メタデータ) (2021-04-16T06:41:20Z) - Bayesian hierarchical stacking [10.371079239965836]
モデル予測性能が入力に不均一である場合,スタック化が最も有効であることを示す。
入力変動が部分的にプールされたモデル重み付けにより、階層的積み重ねは平均および条件付き予測を改善する。
論文 参考訳(メタデータ) (2021-01-22T05:19:49Z) - On Robust Probabilistic Principal Component Analysis using Multivariate
$t$-Distributions [0.30458514384586394]
本稿では,高レベルの多変量$t$-PPCAフレームワークと,実装に使用される階層モデルとの等価な関係について述べる。
また,モンテカルロ予測最大化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-21T06:49:20Z) - Generative Model without Prior Distribution Matching [26.91643368299913]
変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。
我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
論文 参考訳(メタデータ) (2020-09-23T09:33:24Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z) - On the Replicability of Combining Word Embeddings and Retrieval Models [71.18271398274513]
我々は、Fisherカーネルフレームワークの使用に関する魅力的な仮説を実証しようとする最近の実験を再現する。
具体的には、von Mises-Fisher (VMF) 分布の混合モデルを使用することは、VMF とベクトル空間モデルの両方の余弦距離に焦点をあてることによって有益である。
論文 参考訳(メタデータ) (2020-01-13T19:01:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。