論文の概要: A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings

• arxiv url: http://arxiv.org/abs/2008.04702v1
• Date: Tue, 11 Aug 2020 13:54:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 11:28:20.726282
• Title: A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
• Title（参考訳）: 共同学習トピックとトピック特化語埋め込みのためのニューラル生成モデル
• Authors: Lixing Zhu, Yulan He and Deyu Zhou
• Abstract要約: 共同学習トピックとトピック固有の単語埋め込みのための局所的・グローバル的文脈を探索する新しい生成モデルを提案する。 訓練されたモデルは、単語を話題に依存した埋め込みにマッピングする。
• 参考スコア（独自算出の注目度）: 42.87769996249732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel generative model to explore both local and global context for joint learning topics and topic-specific word embeddings. In particular, we assume that global latent topics are shared across documents, a word is generated by a hidden semantic vector encoding its contextual semantic meaning, and its context words are generated conditional on both the hidden semantic vector and global latent topics. Topics are trained jointly with the word embeddings. The trained model maps words to topic-dependent embeddings, which naturally addresses the issue of word polysemy. Experimental results show that the proposed model outperforms the word-level embedding methods in both word similarity evaluation and word sense disambiguation. Furthermore, the model also extracts more coherent topics compared with existing neural topic models or other models for joint learning of topics and word embeddings. Finally, the model can be easily integrated with existing deep contextualized word embedding learning methods to further improve the performance of downstream tasks such as sentiment classification.
• Abstract（参考訳）: 共同学習トピックとトピック固有の単語埋め込みのための局所的・グローバル的文脈を探索する新しい生成モデルを提案する。 特に、グローバルな潜在トピックが文書間で共有され、そのコンテキスト意味の意味をコードする隠れ意味ベクトルによって単語が生成され、そのコンテキストワードが隠れ意味ベクトルとグローバル潜在トピックの両方に条件付きで生成されると仮定する。 トピックは埋め込みという言葉と共同で訓練される。 訓練されたモデルは、単語を話題に依存した埋め込みにマッピングする。 実験結果から,単語類似度評価と単語感覚の曖昧さの両面において,単語レベルの埋め込み手法よりも優れた結果が得られた。 さらに、既存のニューラルトピックモデルや、トピックと単語埋め込みの合同学習のための他のモデルと比較して、よりコヒーレントなトピックを抽出する。 最後に、モデルが既存の深層文脈化単語埋め込み学習手法と容易に統合され、感情分類などの下流タスクのパフォーマンスがさらに向上する。

関連論文リスト

• CWTM: Leveraging Contextualized Word Embeddings from BERT for Neural Topic Modeling [23.323587005085564]
  CWTM(Contextlized Word Topic Model)と呼ばれる新しいニューラルトピックモデルを導入する。 CWTMは、BERTからコンテキスト化された単語の埋め込みを統合する。 BOW情報なしで文書のトピックベクトルを学習することができる。 また、文脈化された単語の埋め込みに基づいて、文書内の個々の単語のトピックベクトルを導出することもできる。
  論文  参考訳（メタデータ） (2023-05-16T10:07:33Z)
• Topics in the Haystack: Extracting and Evaluating Topics beyond Coherence [0.0]
  本稿では,文と文書のテーマを深く理解する手法を提案する。 これにより、一般的な単語やネオロジズムを含む潜在トピックを検出することができる。 本稿では, 侵入者の単語の人間識別と相関係数を示し, 単語侵入作業において, ほぼ人間レベルの結果を得る。
  論文  参考訳（メタデータ） (2023-03-30T12:24:25Z)
• Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
  テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
  論文  参考訳（メタデータ） (2023-01-22T08:02:23Z)
• Topics in Contextualised Attention Embeddings [7.6650522284905565]
  最近の研究で、言語モデルから単語レベルの文脈表現をクラスタ化することは、潜在ディリクレ割当から単語の潜在トピックで見つかる単語クラスタをエミュレートすることを示した。 重要な疑問は、潜在トピックをモデル化するように明示的に設計されていない言語モデルにおいて、そのような話題の単語クラスタが、クラスタリングを通じてどのように自動的に形成されるかである。 BERT と DistilBERT を用いて,このような話題クラスタをモデル化する上で,アテンションフレームワークが重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2023-01-11T07:26:19Z)
• Effective Seed-Guided Topic Discovery by Integrating Multiple Types of Contexts [28.291684568220827]
  本稿では,3種類の文脈から共同で学習し,その文脈信号をアンサンブルランキングプロセスを介して融合する反復的フレームワークSeedTopicMineを提案する。 さまざまなシードセットと複数のデータセットに基づいて、SeedTopicMineは、既存のシード誘導トピック発見アプローチよりも一貫性と正確なトピックを一貫して生成する。
  論文  参考訳（メタデータ） (2022-12-12T16:03:38Z)
• HyperMiner: Topic Taxonomy Mining with Hyperbolic Embedding [54.52651110749165]
  本稿では,単語や話題を表現するために,メタボリック埋め込みを導入した新しいフレームワークを提案する。 双曲空間のツリー様性により、下層のセマンティック階層はより解釈可能なトピックをマイニングするためによりうまく利用することができる。
  論文  参考訳（メタデータ） (2022-10-16T02:54:17Z)
• Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation [59.01297461453444]
  入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。 実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-26T13:26:03Z)
• Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings [0.0]
  本研究は、5つの異なる静的単語埋め込みアーキテクチャの属性的単語関連を評価することを目的とする。 その結果, 組込み学習における文脈学習のフレーバーの選択は, 学習コーパスにおける単語の関連性や単語の組込み感に影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-14T22:27:18Z)
• A Survey on Contextual Embeddings [48.04732268018772]
  文脈埋め込みは、各単語を文脈に基づく表現として割り当て、様々な文脈にまたがる単語の使用を捉え、言語間で伝達される知識を符号化する。 本稿では,既存の文脈埋め込みモデル,言語間多言語事前学習,下流タスクへの文脈埋め込みの適用,モデル圧縮,モデル解析についてレビューする。
  論文  参考訳（メタデータ） (2020-03-16T15:22:22Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。