論文の概要: Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning
- arxiv url: http://arxiv.org/abs/2004.14224v1
- Date: Wed, 29 Apr 2020 14:22:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 12:50:26.617360
- Title: Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning
- Title(参考訳): グラフ誘導表現学習によるテキスト構造知識の活用
- Authors: Tao Shen, Yi Mao, Pengcheng He, Guodong Long, Adam Trischler, Weizhu
Chen
- Abstract要約: 本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
- 参考スコア(独自算出の注目度): 73.0598186896953
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we aim at equipping pre-trained language models with structured
knowledge. We present two self-supervised tasks learning over raw text with the
guidance from knowledge graphs. Building upon entity-level masked language
models, our first contribution is an entity masking scheme that exploits
relational knowledge underlying the text. This is fulfilled by using a linked
knowledge graph to select informative entities and then masking their mentions.
In addition we use knowledge graphs to obtain distractors for the masked
entities, and propose a novel distractor-suppressed ranking objective which is
optimized jointly with masked language model. In contrast to existing
paradigms, our approach uses knowledge graphs implicitly, only during
pre-training, to inject language models with structured knowledge via learning
from raw text. It is more efficient than retrieval-based methods that perform
entity linking and integration during finetuning and inference, and generalizes
more effectively than the methods that directly learn from concatenated graph
triples. Experiments show that our proposed model achieves improved performance
on five benchmark datasets, including question answering and knowledge base
completion tasks.
- Abstract(参考訳): 本研究では,構造化知識を用いた事前学習型言語モデルの構築を目的とする。
本稿では,知識グラフからの指導により,生テキスト上で学習する2つの自己教師付きタスクを提案する。
エンティティレベルのマスキング言語モデルに基づく最初のコントリビューションは、テキストの基礎となる関係知識を活用するエンティティマスキングスキームです。
これはlinked knowledge graphを使用して情報エンティティを選択し、その言及をマスキングすることで実現される。
さらに,マスクされたエンティティの注意をそらすために知識グラフを用い,マスクされた言語モデルと共同で最適化した新しい注意をそらしたランキング目標を提案する。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用し,生テキストから学習することで構造化知識を持つ言語モデルを注入する。
微調整と推論の間にエンティティリンクと統合を行う検索ベースの手法よりも効率的であり、連結グラフトリプルから直接学習する手法よりも効果的に一般化する。
実験の結果,提案モデルでは,質問応答や知識ベース補完タスクを含む5つのベンチマークデータセットの性能向上が示されている。
関連論文リスト
- Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。
KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。
KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-12-18T06:41:23Z) - CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured
Knowledge Aggregation [21.331251731675668]
常識知識は多くの自然言語処理タスクに不可欠である。
既存の研究は通常、グラフ知識を従来のグラフニューラルネットワーク(GNN)に組み込む。
これらの異なる表現学習段階は、ニューラルネットワークが入力知識の両タイプに含まれる全体的な文脈を学習するのに最適であるかもしれない、と我々は主張する。
論文 参考訳(メタデータ) (2023-05-10T16:31:35Z) - KGLM: Integrating Knowledge Graph Structure in Language Models for Link
Prediction [0.0]
我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。
知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
論文 参考訳(メタデータ) (2022-11-04T20:38:12Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳(メタデータ) (2022-10-19T16:40:28Z) - Joint Language Semantic and Structure Embedding for Knowledge Graph
Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。
本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。
各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文 参考訳(メタデータ) (2022-09-19T02:41:02Z) - KELM: Knowledge Enhanced Pre-Trained Language Representations with
Message Passing on Hierarchical Relational Graphs [26.557447199727758]
本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。
我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
論文 参考訳(メタデータ) (2021-09-09T12:39:17Z) - JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。
知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。
我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
論文 参考訳(メタデータ) (2020-10-02T05:53:36Z) - CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。
CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。
知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文 参考訳(メタデータ) (2020-10-01T11:39:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。