論文の概要: Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning

• arxiv url: http://arxiv.org/abs/2004.14224v1
• Date: Wed, 29 Apr 2020 14:22:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 12:50:26.617360
• Title: Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning
• Title（参考訳）: グラフ誘導表現学習によるテキスト構造知識の活用
• Authors: Tao Shen, Yi Mao, Pengcheng He, Guodong Long, Adam Trischler, Weizhu Chen
• Abstract要約: 本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
• 参考スコア（独自算出の注目度）: 73.0598186896953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we aim at equipping pre-trained language models with structured knowledge. We present two self-supervised tasks learning over raw text with the guidance from knowledge graphs. Building upon entity-level masked language models, our first contribution is an entity masking scheme that exploits relational knowledge underlying the text. This is fulfilled by using a linked knowledge graph to select informative entities and then masking their mentions. In addition we use knowledge graphs to obtain distractors for the masked entities, and propose a novel distractor-suppressed ranking objective which is optimized jointly with masked language model. In contrast to existing paradigms, our approach uses knowledge graphs implicitly, only during pre-training, to inject language models with structured knowledge via learning from raw text. It is more efficient than retrieval-based methods that perform entity linking and integration during finetuning and inference, and generalizes more effectively than the methods that directly learn from concatenated graph triples. Experiments show that our proposed model achieves improved performance on five benchmark datasets, including question answering and knowledge base completion tasks.
• Abstract（参考訳）: 本研究では,構造化知識を用いた事前学習型言語モデルの構築を目的とする。 本稿では,知識グラフからの指導により,生テキスト上で学習する2つの自己教師付きタスクを提案する。 エンティティレベルのマスキング言語モデルに基づく最初のコントリビューションは、テキストの基礎となる関係知識を活用するエンティティマスキングスキームです。 これはlinked knowledge graphを使用して情報エンティティを選択し、その言及をマスキングすることで実現される。 さらに,マスクされたエンティティの注意をそらすために知識グラフを用い,マスクされた言語モデルと共同で最適化した新しい注意をそらしたランキング目標を提案する。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用し,生テキストから学習することで構造化知識を持つ言語モデルを注入する。 微調整と推論の間にエンティティリンクと統合を行う検索ベースの手法よりも効率的であり、連結グラフトリプルから直接学習する手法よりも効果的に一般化する。 実験の結果,提案モデルでは,質問応答や知識ベース補完タスクを含む5つのベンチマークデータセットの性能向上が示されている。

関連論文リスト

• CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [7.28689681964381]
  常識知識は多くの自然言語処理タスクに不可欠である。 既存の研究は通常、グラフ知識を従来のグラフニューラルネットワーク(GNN)に組み込む。 これらの異なる表現学習段階は、ニューラルネットワークが入力知識の両タイプに含まれる全体的な文脈を学習するのに最適であるかもしれない、と我々は主張する。
  論文  参考訳（メタデータ） (2023-05-10T16:31:35Z)
• KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
  我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。 知識グラフから抽出した三重項を用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習することにより、リンク予測タスクに新たな最先端性能を設定できることが示される。
  論文  参考訳（メタデータ） (2022-11-04T20:38:12Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
  本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。 知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。 我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
  論文  参考訳（メタデータ） (2020-10-02T05:53:36Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。