論文の概要: CWTM: Leveraging Contextualized Word Embeddings from BERT for Neural Topic Modeling

• arxiv url: http://arxiv.org/abs/2305.09329v3
• Date: Wed, 6 Mar 2024 14:56:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 18:21:33.322443
• Title: CWTM: Leveraging Contextualized Word Embeddings from BERT for Neural Topic Modeling
• Title（参考訳）: CWTM:ニューラルトピックモデリングのためのBERTからの文脈付き単語埋め込みの活用
• Authors: Zheng Fang, Yulan He and Rob Procter
• Abstract要約: CWTM(Contextlized Word Topic Model)と呼ばれる新しいニューラルトピックモデルを導入する。 CWTMは、BERTからコンテキスト化された単語の埋め込みを統合する。 BOW情報なしで文書のトピックベクトルを学習することができる。 また、文脈化された単語の埋め込みに基づいて、文書内の個々の単語のトピックベクトルを導出することもできる。
• 参考スコア（独自算出の注目度）: 23.323587005085564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing topic models rely on bag-of-words (BOW) representation, which limits their ability to capture word order information and leads to challenges with out-of-vocabulary (OOV) words in new documents. Contextualized word embeddings, however, show superiority in word sense disambiguation and effectively address the OOV issue. In this work, we introduce a novel neural topic model called the Contextlized Word Topic Model (CWTM), which integrates contextualized word embeddings from BERT. The model is capable of learning the topic vector of a document without BOW information. In addition, it can also derive the topic vectors for individual words within a document based on their contextualized word embeddings. Experiments across various datasets show that CWTM generates more coherent and meaningful topics compared to existing topic models, while also accommodating unseen words in newly encountered documents.
• Abstract（参考訳）: 既存のトピックモデルの多くは、単語の注文情報をキャプチャする能力を制限するbag-of-words(bow)表現に依存しており、新たなドキュメントでは単語のオブ・ボキャブラリー(oov)が問題となる。 しかし、文脈化された単語埋め込みは、単語感覚の曖昧さにおいて優位性を示し、OOV問題に効果的に対処する。 そこで本研究では,BERT からの文脈的単語埋め込みを統合した Contextlized Word Topic Model (CWTM) という,新しいニューラルトピックモデルを提案する。 このモデルは、BOW情報なしで文書のトピックベクトルを学習することができる。 さらに、文脈化された単語埋め込みに基づいて、文書内の個々の単語のトピックベクトルを導出することもできる。 様々なデータセットにわたる実験により、CWTMは既存のトピックモデルよりも一貫性があり有意義なトピックを生成する一方で、新しく遭遇した文書で目に見えない単語を調整していることが示された。

関連論文リスト

• TopicGPT: A Prompt-based Topic Modeling Framework [77.72072691307811]
  TopicGPTは,大規模言語モデルを用いてテキストコレクション内の潜在トピックを明らかにするプロンプトベースのフレームワークである。 競合する手法と比較して、人間の分類とよく一致したトピックを生成する。 そのトピックもまた解釈可能であり、自然言語ラベルと関連する自由形式の記述を含むトピックを好んで、曖昧な言葉の袋を除いた。
  論文  参考訳（メタデータ） (2023-11-02T17:57:10Z)
• Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
  本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
  論文  参考訳（メタデータ） (2022-09-20T09:16:05Z)
• Keyword Assisted Embedded Topic Model [1.9000421840914223]
  確率論的トピックモデルは、文書内の単語がトピックと呼ばれる潜在分布の集合を通してどのように生成されるかを記述する。 近年,組込みトピックモデル (ETM) がLDAを拡張して,単語埋め込みにおける意味情報を利用して意味的にリッチなトピックを導出している。 本稿では,ユーザ知識を情報的トピックレベルの先行情報に組み込む機能を備えたKeyETM(Keyword Assisted Embedded Topic Model)を提案する。
  論文  参考訳（メタデータ） (2021-11-22T07:27:17Z)
• Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings [17.198907789163123]
  我々は、単語埋め込みを背景知識として活用して、単語間グラフに意味情報を加えることにより、グラフベースのランキングモデルを強化する。 提案手法は,確立されたベンチマークデータセットを用いて評価し,単語の埋め込み近傍情報によりモデル性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-11-13T21:48:18Z)
• Neural Attention-Aware Hierarchical Topic Model [25.721713066830404]
  文と文書語数を共同で再構成する変分自動エンコーダ(VAE)NTMモデルを提案する。 我々のモデルは、各文書の埋め込みを利用して文の正規化を行う階層的なKL分岐も特徴としている。 定量的および定性的な実験は,1) 文レベルと文書レベルの再現誤りを低減し,2) 実世界のデータセットからより一貫性のあるトピックを発見できる。
  論文  参考訳（メタデータ） (2021-10-14T05:42:32Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• TAN-NTM: Topic Attention Networks for Neural Topic Modeling [8.631228373008478]
  本稿では,入力層におけるBoWの代わりに,文書をトークンのシーケンスとしてモデル化する新しいフレームワークであるTAN-NTMを提案する。 我々はLSTM出力に注意を払って、トピックに関連する手がかりを伝達する関連単語への参加をモデルに与える。 TAN-NTMは、NPMIコヒーレンスメトリックにおける既存のSOTAトピックモデルのスコアよりも9～15パーセント向上した最先端結果を達成する。
  論文  参考訳（メタデータ） (2020-12-02T20:58:04Z)
• A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings [42.87769996249732]
  共同学習トピックとトピック固有の単語埋め込みのための局所的・グローバル的文脈を探索する新しい生成モデルを提案する。 訓練されたモデルは、単語を話題に依存した埋め込みにマッピングする。
  論文  参考訳（メタデータ） (2020-08-11T13:54:11Z)
• A Survey on Contextual Embeddings [48.04732268018772]
  文脈埋め込みは、各単語を文脈に基づく表現として割り当て、様々な文脈にまたがる単語の使用を捉え、言語間で伝達される知識を符号化する。 本稿では,既存の文脈埋め込みモデル,言語間多言語事前学習,下流タスクへの文脈埋め込みの適用,モデル圧縮,モデル解析についてレビューする。
  論文  参考訳（メタデータ） (2020-03-16T15:22:22Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。