論文の概要: Knowledge-Aware Bayesian Deep Topic Model

• arxiv url: http://arxiv.org/abs/2209.14228v1
• Date: Tue, 20 Sep 2022 09:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 23:05:55.218483
• Title: Knowledge-Aware Bayesian Deep Topic Model
• Title（参考訳）: 知識を考慮したベイズディープトピックモデル
• Authors: Dongsheng Wang, Yishi Xu, Miaoge Li, Zhibin Duan, Chaojie Wang, Bo Chen and Mingyuan Zhou
• Abstract要約: 本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
• 参考スコア（独自算出の注目度）: 50.58975785318575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a Bayesian generative model for incorporating prior domain knowledge into hierarchical topic modeling. Although embedded topic models (ETMs) and its variants have gained promising performance in text analysis, they mainly focus on mining word co-occurrence patterns, ignoring potentially easy-to-obtain prior topic hierarchies that could help enhance topic coherence. While several knowledge-based topic models have recently been proposed, they are either only applicable to shallow hierarchies or sensitive to the quality of the provided prior knowledge. To this end, we develop a novel deep ETM that jointly models the documents and the given prior knowledge by embedding the words and topics into the same space. Guided by the provided knowledge, the proposed model tends to discover topic hierarchies that are organized into interpretable taxonomies. Besides, with a technique for adapting a given graph, our extended version allows the provided prior topic structure to be finetuned to match the target corpus. Extensive experiments show that our proposed model efficiently integrates the prior knowledge and improves both hierarchical topic discovery and document representation.
• Abstract（参考訳）: 本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 組込みトピックモデル(ETM)とその変種は、テキスト分析において有望なパフォーマンスを得たが、主に単語共起パターンのマイニングに焦点を当てており、トピックのコヒーレンスを高めるのに役立つ、潜在的に容易に維持可能なトピック階層を無視している。 最近、いくつかの知識に基づくトピックモデルが提案されているが、それらは浅い階層のみに適用するか、提供される事前知識の品質に敏感である。 そこで我々は,単語とトピックを同じ空間に埋め込むことで,文書と与えられた事前知識を共同でモデル化する,新しい深層EMMを開発した。 提案するモデルでは, 提案手法は, 解釈可能な分類体系に分類されたトピック階層を発見する傾向にある。 さらに,与えられたグラフを適応させる手法を用いて,対象コーパスに適合させるように事前のトピック構造を微調整することができるように拡張した。 広範な実験により,提案モデルが先行知識を効率的に統合し,階層的トピック発見と文書表現の両方を改善したことを示す。

関連論文リスト

• Semantic-Driven Topic Modeling Using Transformer-Based Embeddings and Clustering Algorithms [6.349503549199403]
  本研究は,トピック抽出プロセスのための革新的エンド・ツー・エンドのセマンティクス駆動トピックモデリング手法を提案する。 本モデルは,事前学習したトランスフォーマーベース言語モデルを用いて文書埋め込みを生成する。 ChatGPTや従来のトピックモデリングアルゴリズムと比較して、我々のモデルはより一貫性があり有意義なトピックを提供する。
  論文  参考訳（メタデータ） (2024-09-30T18:15:31Z)
• Interactive Topic Models with Optimal Transport [75.26555710661908]
  ラベル名監視型トピックモデリングのためのアプローチとして,EdTMを提案する。 EdTMは、LM/LLMベースのドキュメントトピック親和性を活用しながら、代入問題としてのトピックモデリングをモデル化する。
  論文  参考訳（メタデータ） (2024-06-28T13:57:27Z)
• Enhanced Short Text Modeling: Leveraging Large Language Models for Topic Refinement [7.6115889231452964]
  トピックリファインメント(Topic Refinement)と呼ばれる新しいアプローチを導入する。 このアプローチは、トピックの初期のモデリングに直接関係せず、採掘後にトピックを改善することに重点を置いています。 素早いエンジニアリングを駆使して、所与のトピック内での話題外単語を排除し、文脈的に関係のある単語だけが、よりセマンティックに適合した単語で保存または置換されることを保証する。
  論文  参考訳（メタデータ） (2024-03-26T13:50:34Z)
• HyperMiner: Topic Taxonomy Mining with Hyperbolic Embedding [54.52651110749165]
  本稿では,単語や話題を表現するために,メタボリック埋め込みを導入した新しいフレームワークを提案する。 双曲空間のツリー様性により、下層のセマンティック階層はより解釈可能なトピックをマイニングするためによりうまく利用することができる。
  論文  参考訳（メタデータ） (2022-10-16T02:54:17Z)
• Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations [35.74225306947918]
  本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。 提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
  論文  参考訳（メタデータ） (2022-02-09T17:26:08Z)
• Keyword Assisted Embedded Topic Model [1.9000421840914223]
  確率論的トピックモデルは、文書内の単語がトピックと呼ばれる潜在分布の集合を通してどのように生成されるかを記述する。 近年,組込みトピックモデル (ETM) がLDAを拡張して,単語埋め込みにおける意味情報を利用して意味的にリッチなトピックを導出している。 本稿では,ユーザ知識を情報的トピックレベルの先行情報に組み込む機能を備えたKeyETM(Keyword Assisted Embedded Topic Model)を提案する。
  論文  参考訳（メタデータ） (2021-11-22T07:27:17Z)
• TopicNet: Semantic Graph-Guided Topic Discovery [51.71374479354178]
  既存の階層的なトピックモデルでは、教師なしの方法でテキストコーパスから意味論的意味のあるトピックを抽出することができる。 TopicNetを階層的なトピックモデルとして導入し、学習に影響を与えるための帰納的バイアスとして、事前構造知識を注入する。
  論文  参考訳（メタデータ） (2021-10-27T09:07:14Z)
• Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
  我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。 我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
  論文  参考訳（メタデータ） (2020-10-05T22:49:16Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。