論文の概要: Topics as Entity Clusters: Entity-based Topics from Language Models and Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2301.02458v1
• Date: Fri, 6 Jan 2023 10:54:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-09 23:24:42.576025
• Title: Topics as Entity Clusters: Entity-based Topics from Language Models and Graph Neural Networks
• Title（参考訳）: エンティティクラスタとしてのトピック: 言語モデルとグラフニューラルネットワークによるエンティティベースのトピック
• Authors: Manuel V. Loureiro, Steven Derby and Tri Kurniawan Wijaya
• Abstract要約: 本稿では,概念的エンティティを用いたクラスタベースのトピックモデリング手法を提案する。 エンティティは、リレーショナル情報に富んだ実世界の概念の言語に依存しない表現である。 当社のアプローチは、コヒーレンシメトリクス全体で、他の最先端トピックモデルよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 0.7734726150561089
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Topic models aim to reveal the latent structure behind a corpus, typically conducted over a bag-of-words representation of documents. In the context of topic modeling, most vocabulary is either irrelevant for uncovering underlying topics or contains strong relationships with relevant concepts, impacting the interpretability of these topics. Furthermore, their limited expressiveness and dependency on language demand considerable computation resources. Hence, we propose a novel approach for cluster-based topic modeling that employs conceptual entities. Entities are language-agnostic representations of real-world concepts rich in relational information. To this end, we extract vector representations of entities from (i) an encyclopedic corpus using a language model; and (ii) a knowledge base using a graph neural network. We demonstrate that our approach consistently outperforms other state-of-the-art topic models across coherency metrics and find that the explicit knowledge encoded in the graph-based embeddings provides more coherent topics than the implicit knowledge encoded with the contextualized embeddings of language models.
• Abstract（参考訳）: トピックモデルはコーパスの背後にある潜伏構造を明らかにすることを目的としている。 トピックモデリングの文脈では、ほとんどの語彙は基礎となるトピックを明らかにするのに無関係であるか、関連する概念と強い関係を持ち、これらのトピックの解釈可能性に影響を与える。 さらに、言語への依存や表現力の制限は、かなりの計算資源を必要とする。 そこで本研究では,概念的実体を用いたクラスタベースのトピックモデリング手法を提案する。 エンティティは、関係情報に富んだ現実世界の概念の言語に依存しない表現である。 この目的のために、我々は実体のベクトル表現を抽出する。 (i)言語モデルを用いた百科事典 (ii)グラフニューラルネットワークを用いた知識ベース。 我々は,この手法がコヒーレンシー指標の他の最先端トピックモデルより一貫して優れており,グラフベース埋め込みに符号化された明示的な知識は,言語モデルの文脈的埋め込みに符号化された暗黙的な知識よりも,より一貫性のあるトピックを提供することを示した。

関連論文リスト

• MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities [0.0]
  本稿では,MaterioMinerデータセットと,オントロジの概念がテキストの実体と結びついている材料オントロジーについて述べる。 本稿では,3つのレーダ間の整合性について検討し,名前付きプロセス認識モデルトレーニングの実現可能性を示す。
  論文  参考訳（メタデータ） (2024-08-05T21:42:59Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
  画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。 本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
  論文  参考訳（メタデータ） (2022-10-18T17:01:35Z)
• Learning Attention-based Representations from Multiple Patterns for Relation Prediction in Knowledge Graphs [2.4028383570062606]
  AEMPは、エンティティのコンテキスト情報を取得することによって、コンテキスト化された表現を学習するための新しいモデルである。 AEMPは、最先端の関係予測手法よりも優れるか、競合する。
  論文  参考訳（メタデータ） (2022-06-07T10:53:35Z)
• Text analysis and deep learning: A network approach [0.0]
  本稿では,変圧器モデルとネットワーク解析を併用して,言語使用の自己参照表現を生成する手法を提案する。 我々のアプローチは、基礎となるモデルと強く整合した言語関係と、それらに関する数学的に明確に定義された操作を生成する。 我々の知る限りでは、深層言語モデルから直接意味ネットワークを抽出する最初の教師なし手法である。
  論文  参考訳（メタデータ） (2021-10-08T14:18:36Z)
• High-dimensional distributed semantic spaces for utterances [0.2907403645801429]
  本稿では,発話とテキストレベルデータの高次元表現モデルについて述べる。 言語情報を表現する数学的原理と行動学的に妥当なアプローチに基づいている。 本論文は,固定次元の共通積分フレームワークにおいて,実装モデルが言語的特徴を広範囲に表すことができるかを示す。
  論文  参考訳（メタデータ） (2021-04-01T12:09:47Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Neural Entity Linking: A Survey of Models Based on Deep Learning [82.43751915717225]
  本調査では,2015年以降に開発されたニューラルエンティティリンク(EL)システムの包括的記述について報告する。 その目標は、ニューラルエンティティリンクシステムの設計機能を体系化し、それらのパフォーマンスを一般的なベンチマーク上の注目すべき古典的手法と比較することである。 この調査はエンティティリンクの応用に焦点をあて、最近出現した、深い事前訓練されたマスキング言語モデルを強化するユースケースに焦点を当てている。
  論文  参考訳（メタデータ） (2020-05-31T18:02:26Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。