論文の概要: Representing Mixtures of Word Embeddings with Mixtures of Topic Embeddings

• arxiv url: http://arxiv.org/abs/2203.01570v1
• Date: Thu, 3 Mar 2022 08:46:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 15:24:02.371023
• Title: Representing Mixtures of Word Embeddings with Mixtures of Topic Embeddings
• Title（参考訳）: 話題埋め込みの混合による単語埋め込みの混合表現
• Authors: Dongsheng Wang, Dandan Guo, He Zhao, Huangjie Zheng, Korawat Tanwisuth, Bo Chen, Mingyuan Zhou
• Abstract要約: トピックモデルはしばしば、文書の各単語が、一連のトピックと文書固有のトピック比に基づいてどのように生成されるかを説明する生成モデルとして定式化される。 本稿では、各文書を単語埋め込みベクトルの集合と見なし、各トピックを同じ埋め込み空間に埋め込みベクトルとしてモデル化する新しいトピックモデリングフレームワークを提案する。 同じベクトル空間に単語とトピックを埋め込み、文書の単語の埋め込みベクトルとそれらのトピックのセマンティックな差異を測る方法を定義し、すべての文書に対して期待される差を最小化するためにトピックの埋め込みを最適化する。
• 参考スコア（独自算出の注目度）: 46.324584649014284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A topic model is often formulated as a generative model that explains how each word of a document is generated given a set of topics and document-specific topic proportions. It is focused on capturing the word co-occurrences in a document and hence often suffers from poor performance in analyzing short documents. In addition, its parameter estimation often relies on approximate posterior inference that is either not scalable or suffers from large approximation error. This paper introduces a new topic-modeling framework where each document is viewed as a set of word embedding vectors and each topic is modeled as an embedding vector in the same embedding space. Embedding the words and topics in the same vector space, we define a method to measure the semantic difference between the embedding vectors of the words of a document and these of the topics, and optimize the topic embeddings to minimize the expected difference over all documents. Experiments on text analysis demonstrate that the proposed method, which is amenable to mini-batch stochastic gradient descent based optimization and hence scalable to big corpora, provides competitive performance in discovering more coherent and diverse topics and extracting better document representations.
• Abstract（参考訳）: トピックモデルは、文書の各単語がどのように生成されるかを説明する生成モデルとして定式化されることが多い。 文書中の共起語を捉えることに重点を置いており、短い文書の分析において性能の低下に苦しむことが多い。 加えて、そのパラメータ推定は、しばしば、スケーラブルでないか、大きな近似誤差に苦しむ近似後方推定に依存する。 本稿では、各文書を単語埋め込みベクトルの集合として、各トピックを同じ埋め込み空間内の埋め込みベクトルとしてモデル化する新しいトピックモデリングフレームワークを提案する。 同じベクトル空間に単語とトピックを埋め込み、文書の単語の埋め込みベクトルとそれらのトピックのセマンティックな差異を測る方法を定義し、すべての文書に対して期待される差を最小化するためにトピックの埋め込みを最適化する。 テキスト解析実験により,提案手法は,ミニバッチの確率的勾配降下に基づく最適化に適しており,それゆえ大規模コーパスに拡張可能であり,よりコヒーレントで多様なトピックを発見し,より優れた文書表現を抽出するための競合性能を提供することが示された。

関連論文リスト

• CAST: Corpus-Aware Self-similarity Enhanced Topic modelling [16.562349140796115]
  CAST: Corpus-Aware Self-similarity Enhanced Topic modelling, a novel topic modelling methodを紹介する。 機能的単語が候補話題語として振る舞うのを防ぐための効果的な指標として自己相似性を見出した。 提案手法は,生成したトピックの一貫性と多様性,およびノイズの多いデータを扱うトピックモデルの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-19T15:27:11Z)
• Contextual Document Embeddings [77.22328616983417]
  本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
  論文  参考訳（メタデータ） (2024-10-03T14:33:34Z)
• Improving Contextualized Topic Models with Negative Sampling [3.708656266586146]
  本稿では,文脈化トピックモデルに対する負のサンプリング機構を提案し,生成したトピックの品質を向上する。 特に、モデルトレーニング中に生成された文書トピックベクトルを摂動させ、三重項損失を用いて、正しい文書トピックベクトルから入力文書に類似した文書を再構築することを奨励する。
  論文  参考訳（メタデータ） (2023-03-27T07:28:46Z)
• HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
  コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。 無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。 そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-17T12:07:13Z)
• Multi-Vector Models with Textual Guidance for Fine-Grained Scientific Document Similarity [11.157086694203201]
  本稿では, 微粒な面のマッチングに基づく新しい科学的文書類似性モデルを提案する。 本モデルは,テキスト管理の新たな形態として,関連論文の側面を記述した共引用文脈を用いて学習する。
  論文  参考訳（メタデータ） (2021-11-16T11:12:30Z)
• TopicNet: Semantic Graph-Guided Topic Discovery [51.71374479354178]
  既存の階層的なトピックモデルでは、教師なしの方法でテキストコーパスから意味論的意味のあるトピックを抽出することができる。 TopicNetを階層的なトピックモデルとして導入し、学習に影響を与えるための帰納的バイアスとして、事前構造知識を注入する。
  論文  参考訳（メタデータ） (2021-10-27T09:07:14Z)
• Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network [49.458250193768826]
  本稿では,文書の深部生成モデルであるGBNのソートゥース要素埋め込みについて述べる。 単語も話題も同じ次元の埋め込みベクトルとして表現される。 我々のモデルは、より深い解釈可能なトピックを抽出する他のニューラルネットワークモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-06-30T10:14:57Z)
• Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
  同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。 同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。 我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
  論文  参考訳（メタデータ） (2021-06-15T20:55:55Z)
• Topic Scaling: A Joint Document Scaling -- Topic Model Approach To Learn Time-Specific Topics [0.0]
  本稿では,文書位置の尺度から時間に基づくトピックを学習する2段階アルゴリズムを実装し,シーケンシャルコーパスを研究する新しい手法を提案する。 最初の段階はWordfishを使用してドキュメントをランク付けし、関連するトピックを学ぶために依存変数として機能する文書の位置を推定します。 第二段階は、コーパス内のそれらの発生と一致するように文書スケール上の推論されたトピックをランク付けし、それらの進化を追跡します。
  論文  参考訳（メタデータ） (2021-03-31T12:35:36Z)
• Tired of Topic Models? Clusters of Pretrained Word Embeddings Make for Fast and Good Topics too! [5.819224524813161]
  事前学習した単語の埋め込みをクラスタリングし、重み付けされたクラスタリングと上位単語の再ランク付けのための文書情報を組み込んだ別の方法を提案する。 このアプローチの最も優れた組み合わせは、従来のトピックモデルと同様に機能するが、ランタイムと計算の複雑さは低い。
  論文  参考訳（メタデータ） (2020-04-30T16:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。