論文の概要: Topics as Entity Clusters: Entity-based Topics from Language Models and
Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2301.02458v1
- Date: Fri, 6 Jan 2023 10:54:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-09 23:24:42.576025
- Title: Topics as Entity Clusters: Entity-based Topics from Language Models and
Graph Neural Networks
- Title(参考訳): エンティティクラスタとしてのトピック: 言語モデルとグラフニューラルネットワークによるエンティティベースのトピック
- Authors: Manuel V. Loureiro, Steven Derby and Tri Kurniawan Wijaya
- Abstract要約: 本稿では,概念的エンティティを用いたクラスタベースのトピックモデリング手法を提案する。
エンティティは、リレーショナル情報に富んだ実世界の概念の言語に依存しない表現である。
当社のアプローチは、コヒーレンシメトリクス全体で、他の最先端トピックモデルよりも一貫して優れています。
- 参考スコア(独自算出の注目度): 0.7734726150561089
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Topic models aim to reveal the latent structure behind a corpus, typically
conducted over a bag-of-words representation of documents. In the context of
topic modeling, most vocabulary is either irrelevant for uncovering underlying
topics or contains strong relationships with relevant concepts, impacting the
interpretability of these topics. Furthermore, their limited expressiveness and
dependency on language demand considerable computation resources. Hence, we
propose a novel approach for cluster-based topic modeling that employs
conceptual entities. Entities are language-agnostic representations of
real-world concepts rich in relational information. To this end, we extract
vector representations of entities from (i) an encyclopedic corpus using a
language model; and (ii) a knowledge base using a graph neural network. We
demonstrate that our approach consistently outperforms other state-of-the-art
topic models across coherency metrics and find that the explicit knowledge
encoded in the graph-based embeddings provides more coherent topics than the
implicit knowledge encoded with the contextualized embeddings of language
models.
- Abstract(参考訳): トピックモデルはコーパスの背後にある潜伏構造を明らかにすることを目的としている。
トピックモデリングの文脈では、ほとんどの語彙は基礎となるトピックを明らかにするのに無関係であるか、関連する概念と強い関係を持ち、これらのトピックの解釈可能性に影響を与える。
さらに、言語への依存や表現力の制限は、かなりの計算資源を必要とする。
そこで本研究では,概念的実体を用いたクラスタベースのトピックモデリング手法を提案する。
エンティティは、関係情報に富んだ現実世界の概念の言語に依存しない表現である。
この目的のために、我々は実体のベクトル表現を抽出する。
(i)言語モデルを用いた百科事典
(ii)グラフニューラルネットワークを用いた知識ベース。
我々は,この手法がコヒーレンシー指標の他の最先端トピックモデルより一貫して優れており,グラフベース埋め込みに符号化された明示的な知識は,言語モデルの文脈的埋め込みに符号化された暗黙的な知識よりも,より一貫性のあるトピックを提供することを示した。
関連論文リスト
- Knowledge Graphs and Pre-trained Language Models enhanced Representation
Learning for Conversational Recommender Systems [63.974673451117226]
本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。
KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。
KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-12-18T06:41:23Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳(メタデータ) (2023-07-25T17:59:18Z) - Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。
本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
論文 参考訳(メタデータ) (2022-10-18T17:01:35Z) - Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。
提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
論文 参考訳(メタデータ) (2022-09-20T09:16:05Z) - Learning Attention-based Representations from Multiple Patterns for
Relation Prediction in Knowledge Graphs [2.4028383570062606]
AEMPは、エンティティのコンテキスト情報を取得することによって、コンテキスト化された表現を学習するための新しいモデルである。
AEMPは、最先端の関係予測手法よりも優れるか、競合する。
論文 参考訳(メタデータ) (2022-06-07T10:53:35Z) - Topic Discovery via Latent Space Clustering of Pretrained Language Model
Representations [35.74225306947918]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。
提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文 参考訳(メタデータ) (2022-02-09T17:26:08Z) - High-dimensional distributed semantic spaces for utterances [0.2907403645801429]
本稿では,発話とテキストレベルデータの高次元表現モデルについて述べる。
言語情報を表現する数学的原理と行動学的に妥当なアプローチに基づいている。
本論文は,固定次元の共通積分フレームワークにおいて,実装モデルが言語的特徴を広範囲に表すことができるかを示す。
論文 参考訳(メタデータ) (2021-04-01T12:09:47Z) - Explainable and Discourse Topic-aware Neural Language Understanding [22.443597046878086]
トピックモデルと言語モデルの結婚は、文章以外の文書レベルのコンテキストのより広いソースに言語理解を公開する。
既存のアプローチでは、潜在する文書のトピックの比率を取り入れ、文書の文の話題の言説を無視する。
本稿では,潜時と説明可能なトピックと,文レベルでの話題会話を併用したニューラルコンポジット言語モデルを提案する。
論文 参考訳(メタデータ) (2020-06-18T15:53:58Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。