論文の概要: Topics as Entity Clusters: Entity-based Topics from Large Language Models and Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2301.02458v2
- Date: Thu, 22 Aug 2024 17:07:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 20:17:08.515307
- Title: Topics as Entity Clusters: Entity-based Topics from Large Language Models and Graph Neural Networks
- Title（参考訳）: エンティティクラスタとしてのトピック: 大規模言語モデルとグラフニューラルネットワークによるエンティティベースのトピック
- Authors: Manuel V. Loureiro, Steven Derby, Tri Kurniawan Wijaya,
- Abstract要約: 本稿では,エンティティのバイモーダルベクトル表現を用いたトピッククラスタリング手法を提案する。
我々のアプローチは、最先端のモデルと比較してエンティティを扱うのに適している。
- 参考スコア（独自算出の注目度）: 0.6486052012623045
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Topic models aim to reveal latent structures within a corpus of text, typically through the use of term-frequency statistics over bag-of-words representations from documents. In recent years, conceptual entities -- interpretable, language-independent features linked to external knowledge resources -- have been used in place of word-level tokens, as words typically require extensive language processing with a minimal assurance of interpretability. However, current literature is limited when it comes to exploring purely entity-driven neural topic modeling. For instance, despite the advantages of using entities for eliciting thematic structure, it is unclear whether current techniques are compatible with these sparsely organised, information-dense conceptual units. In this work, we explore entity-based neural topic modeling and propose a novel topic clustering approach using bimodal vector representations of entities. Concretely, we extract these latent representations from large language models and graph neural networks trained on a knowledge base of symbolic relations, in order to derive the most salient aspects of these conceptual units. Analysis of coherency metrics confirms that our approach is better suited to working with entities in comparison to state-of-the-art models, particularly when using graph-based embeddings trained on a knowledge base.
- Abstract（参考訳）: トピックモデルは、テキストのコーパス内の潜伏構造を明らかにすることを目的としており、典型的には、文書のバグ・オブ・ワード表現に関する項周波数統計を用いている。
近年では、言語に依存しない言語に依存しない概念的実体が、単語レベルのトークンの代わりに使われてきた。
しかし、純粋にエンティティ駆動のニューラル・トピック・モデリングを考える場合、現在の文献は限られている。
例えば、システマティック構造を引き出すためにエンティティを使用する利点があるにもかかわらず、現在の技術がこれらの疎結合で情報密度の高い概念単位と互換性があるかどうかは不明である。
本研究では,エンティティに基づくニューラルトピックモデリングについて検討し,エンティティのバイモーダルベクトル表現を用いた新しいトピッククラスタリング手法を提案する。
具体的には、これらの概念単位の最も健全な側面を導出するために、大きな言語モデルと記号関係の知識ベースに基づいて訓練されたグラフニューラルネットワークからこれらの潜在表現を抽出する。
特に知識ベースでトレーニングされたグラフベースの埋め込みを使用する場合、コヒーレンシーメトリクスの分析により、我々のアプローチは最先端のモデルと比較してエンティティを扱うのに適していることを確認した。
関連論文リスト
- MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities [0.0]
本稿では,MaterioMinerデータセットと,オントロジの概念がテキストの実体と結びついている材料オントロジーについて述べる。
本稿では,3つのレーダ間の整合性について検討し,名前付きプロセス認識モデルトレーニングの実現可能性を示す。
論文 参考訳（メタデータ） (2024-08-05T21:42:59Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-15T08:33:08Z) - Constructing Word-Context-Coupled Space Aligned with Associative
Knowledge Relations for Interpretable Language Modeling [0.0]
事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。
解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。
我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
論文 参考訳（メタデータ） (2023-05-19T09:26:02Z) - Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。
本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
論文 参考訳（メタデータ） (2022-10-18T17:01:35Z) - Learning Attention-based Representations from Multiple Patterns for
Relation Prediction in Knowledge Graphs [2.4028383570062606]
AEMPは、エンティティのコンテキスト情報を取得することによって、コンテキスト化された表現を学習するための新しいモデルである。
AEMPは、最先端の関係予測手法よりも優れるか、競合する。
論文 参考訳（メタデータ） (2022-06-07T10:53:35Z) - Text analysis and deep learning: A network approach [0.0]
本稿では,変圧器モデルとネットワーク解析を併用して,言語使用の自己参照表現を生成する手法を提案する。
我々のアプローチは、基礎となるモデルと強く整合した言語関係と、それらに関する数学的に明確に定義された操作を生成する。
我々の知る限りでは、深層言語モデルから直接意味ネットワークを抽出する最初の教師なし手法である。
論文 参考訳（メタデータ） (2021-10-08T14:18:36Z) - High-dimensional distributed semantic spaces for utterances [0.2907403645801429]
本稿では,発話とテキストレベルデータの高次元表現モデルについて述べる。
言語情報を表現する数学的原理と行動学的に妥当なアプローチに基づいている。
本論文は,固定次元の共通積分フレームワークにおいて,実装モデルが言語的特徴を広範囲に表すことができるかを示す。
論文 参考訳（メタデータ） (2021-04-01T12:09:47Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z) - Neural Entity Linking: A Survey of Models Based on Deep Learning [82.43751915717225]
本調査では,2015年以降に開発されたニューラルエンティティリンク(EL)システムの包括的記述について報告する。
その目標は、ニューラルエンティティリンクシステムの設計機能を体系化し、それらのパフォーマンスを一般的なベンチマーク上の注目すべき古典的手法と比較することである。
この調査はエンティティリンクの応用に焦点をあて、最近出現した、深い事前訓練されたマスキング言語モデルを強化するユースケースに焦点を当てている。
論文 参考訳（メタデータ） (2020-05-31T18:02:26Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳（メタデータ） (2020-04-29T14:22:42Z) - How Far are We from Effective Context Modeling? An Exploratory Study on
Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。
我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文 参考訳（メタデータ） (2020-02-03T11:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。