論文の概要: vMF Sentence LDA: A Spherical Topic Model over Sentence Embeddings
- arxiv url: http://arxiv.org/abs/2610.05095v1
- Date: Sun, 04 Oct 2026 09:59:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 23:28:31.896211
- Title: vMF Sentence LDA: A Spherical Topic Model over Sentence Embeddings
- Title（参考訳）: vMF文LDA:文埋め込み上の球面トピックモデル
- Abstract要約: 我々は,各文を埋め込みとして観察し,von Mises-Fisher分布を用いて各トピックをモデル化するvMF文LDAを提案する。
語彙を多く共有する話題の中で,vSLDAの限界が最も重要であると評価した。
- 参考スコア（独自算出の注目度）: 3.6296402224183315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent Dirichlet Allocation (LDA) and models derived from it remain widely used topic models. LDA observes each document as a bag-of-words and models each topic by a categorical distribution over the vocabulary, so that it uses neither the internal structure of the document nor the similarity in meaning between words. Earlier work has responded to this limitation in two ways: many models have introduced embeddings, and some have assigned topics to sentences rather than to words. Their combination, a topic model that observes sentence embeddings, remains little explored. We propose vMF Sentence LDA (vSLDA), which keeps the admixture structure of LDA, observes each sentence as its L2-normalized embedding and models each topic by a von Mises-Fisher (vMF) distribution, which matches the cosine geometry of sentence embeddings. Its per-topic parameter count and per-iteration cost are linear in the embedding dimension, versus quadratic for the full-covariance Gaussian distribution in the existing model over sentence embeddings. We evaluate vSLDA where the limitation is expected to matter most, among topics that share much of their vocabulary: the topics that subdivide the one subject of a collection, and the narrow topics that result when a corpus is divided into a large number of topics. On two corpora, vSLDA attains the best mean rank against eight baselines when the fine categories within each coarse category are classified from the document-topic distributions. On the whole corpus, its advantage appears or widens as the number of topics grows. Weighting the word frequencies of each sentence by its topic posterior yields expected topic-word counts of the same form as those of LDA, so that the standard topic coherence and diversity measures apply to models that assign topics to sentences. On their product, topic quality, vSLDA leads in most within-category conditions of both corpora.
- Abstract（参考訳）: ラテント・ディリクレ・アロケーション(LDA)とそれに由来するモデルは、広く使われているトピックモデルのままである。
LDAは、各文書を単語の袋として観察し、各トピックを語彙上の分類的分布によってモデル化するので、文書の内部構造や単語間の類似性は使用しない。
多くのモデルが埋め込みを導入しており、一部のモデルは単語ではなく文章にトピックを割り当てている。
それらの組み合わせは、文の埋め込みを観察するトピックモデルであり、まだほとんど探索されていない。
本稿では,LDAの付加構造を保持するvMF文LDA(vSLDA)を提案し,各文をL2正規化埋め込みとして観察し,文埋め込みの余弦幾何学と一致するvon Mises-Fisher(vMF)分布を用いて各トピックをモデル化する。
文埋め込み上の既存モデルにおける全共分散ガウス分布について, 話題ごとのパラメータ数と項目ごとのコストは, 埋め込み次元において線形である。
我々は,vSLDAにおいて,語彙の大部分を共有できるトピック,コレクションの1つの主題を分割するトピック,コーパスを多数のトピックに分割した場合に生じる狭いトピックについて,その制限が最も重要であると評価した。
2つのコーパスにおいて、vSLDAは、各粗いカテゴリ内の細いカテゴリがドキュメントトピック分布から分類されるときに、8つのベースラインに対して最高の平均ランクを得る。
コーパス全体において、トピックの数が増加するにつれて、その優位性は出現または拡大する。
各文の単語頻度をトピック後部で重くすることで、LDAと同じ形式のトピックワード数が得られるので、標準トピックコヒーレンスと多様性対策が、トピックを文に割り当てるモデルに適用できる。
それらの製品、トピックの品質において、vSLDAは両方のコーパスのほとんどのカテゴリ内条件を導く。
関連論文リスト
- Quantifying consistency and accuracy of Latent Dirichlet Allocation [2.099922236065961]
確率論的トピックモデルは、その性質により再実行時に異なる結果を生成することができ、潜在トピックの不整合を引き起こす。
この不安定性は、複製性、信頼性、解釈に影響を与え、トピックモデルが意味のあるトピックをキャプチャするかどうか、あるいは単にノイズをキャプチャするかどうかに関する懸念を提起する。
LDAが文書中のトピック数を正確に決定できることが示される。
論文 参考訳（メタデータ） (2025-11-17T00:44:27Z) - HAMLET: Healthcare-focused Adaptive Multilingual Learning Embedding-based Topic Modeling [4.8342038441006805]
本稿では,言語間医療トピックモデリングのためのグラフ駆動アーキテクチャであるHAMLETを紹介する。
提案手法では,ニューラルエンハンスド・セマンティック・フュージョンを用いて,大規模言語モデルによって生成されたトピックの埋め込みを改良する。
実験は2つの医療データセットを用いて行われ、1つは英語、1つはフランス語で、そこから6つのデータセットが抽出された。
論文 参考訳（メタデータ） (2025-05-12T00:31:36Z) - TopicGPT: A Prompt-based Topic Modeling Framework [77.72072691307811]
TopicGPTは,大規模言語モデルを用いてテキストコレクション内の潜在トピックを明らかにするプロンプトベースのフレームワークである。
競合する手法と比較して、人間の分類とよく一致したトピックを生成する。
そのトピックもまた解釈可能であり、自然言語ラベルと関連する自由形式の記述を含むトピックを好んで、曖昧な言葉の袋を除いた。
論文 参考訳（メタデータ） (2023-11-02T17:57:10Z) - Document-Level Relation Extraction with Sentences Importance Estimation
and Focusing [52.069206266557266]
文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。
我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。
2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
論文 参考訳（メタデータ） (2022-04-27T03:20:07Z) - Keyword Assisted Embedded Topic Model [1.9000421840914223]
確率論的トピックモデルは、文書内の単語がトピックと呼ばれる潜在分布の集合を通してどのように生成されるかを記述する。
近年,組込みトピックモデル (ETM) がLDAを拡張して,単語埋め込みにおける意味情報を利用して意味的にリッチなトピックを導出している。
本稿では,ユーザ知識を情報的トピックレベルの先行情報に組み込む機能を備えたKeyETM(Keyword Assisted Embedded Topic Model)を提案する。
論文 参考訳（メタデータ） (2021-11-22T07:27:17Z) - TopicNet: Semantic Graph-Guided Topic Discovery [51.71374479354178]
既存の階層的なトピックモデルでは、教師なしの方法でテキストコーパスから意味論的意味のあるトピックを抽出することができる。
TopicNetを階層的なトピックモデルとして導入し、学習に影響を与えるための帰納的バイアスとして、事前構造知識を注入する。
論文 参考訳（メタデータ） (2021-10-27T09:07:14Z) - Neural Attention-Aware Hierarchical Topic Model [25.721713066830404]
文と文書語数を共同で再構成する変分自動エンコーダ(VAE)NTMモデルを提案する。
我々のモデルは、各文書の埋め込みを利用して文の正規化を行う階層的なKL分岐も特徴としている。
定量的および定性的な実験は,1) 文レベルと文書レベルの再現誤りを低減し,2) 実世界のデータセットからより一貫性のあるトピックを発見できる。
論文 参考訳（メタデータ） (2021-10-14T05:42:32Z) - Clustering and Network Analysis for the Embedding Spaces of Sentences
and Sub-Sentences [69.3939291118954]
本稿では,文とサブ文の埋め込みを対象とする包括的クラスタリングとネットワーク解析について検討する。
その結果,1つの手法が最もクラスタリング可能な埋め込みを生成することがわかった。
一般に、スパン部分文の埋め込みは、原文よりもクラスタリング特性が優れている。
論文 参考訳（メタデータ） (2021-10-02T00:47:35Z) - Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network [49.458250193768826]
本稿では,文書の深部生成モデルであるGBNのソートゥース要素埋め込みについて述べる。
単語も話題も同じ次元の埋め込みベクトルとして表現される。
我々のモデルは、より深い解釈可能なトピックを抽出する他のニューラルネットワークモデルよりも優れています。
論文 参考訳（メタデータ） (2021-06-30T10:14:57Z) - Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。
同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。
我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
論文 参考訳（メタデータ） (2021-06-15T20:55:55Z) - TopicsRanksDC: Distance-based Topic Ranking applied on Two-Class Data [0.0]
各トピックが生成する2つのクラスタ間の距離に基づいて,トピックランキングのためのトピックランクsdcという新しいアプローチを提案する。
このアプローチは,各トピックを2つのクラスを分離する重要性によってランク付けする。
topicsranksdcツールの結果は、検索エンジンが関連するトピックを提案できるように、将来の作業に有望である。
論文 参考訳（メタデータ） (2021-05-17T13:34:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。