論文の概要: CoLAKE: Contextualized Language and Knowledge Embedding

• arxiv url: http://arxiv.org/abs/2010.00309v1
• Date: Thu, 1 Oct 2020 11:39:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 07:18:50.758935
• Title: CoLAKE: Contextualized Language and Knowledge Embedding
• Title（参考訳）: CoLAKE: コンテキスト言語と知識埋め込み
• Authors: Tianxiang Sun, Yunfan Shao, Xipeng Qiu, Qipeng Guo, Yaru Hu, Xuanjing Huang, Zheng Zhang
• Abstract要約: 文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
• 参考スコア（独自算出の注目度）: 81.90416952762803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the emerging branch of incorporating factual knowledge into pre-trained language models such as BERT, most existing models consider shallow, static, and separately pre-trained entity embeddings, which limits the performance gains of these models. Few works explore the potential of deep contextualized knowledge representation when injecting knowledge. In this paper, we propose the Contextualized Language and Knowledge Embedding (CoLAKE), which jointly learns contextualized representation for both language and knowledge with the extended MLM objective. Instead of injecting only entity embeddings, CoLAKE extracts the knowledge context of an entity from large-scale knowledge bases. To handle the heterogeneity of knowledge context and language context, we integrate them in a unified data structure, word-knowledge graph (WK graph). CoLAKE is pre-trained on large-scale WK graphs with the modified Transformer encoder. We conduct experiments on knowledge-driven tasks, knowledge probing tasks, and language understanding tasks. Experimental results show that CoLAKE outperforms previous counterparts on most of the tasks. Besides, CoLAKE achieves surprisingly high performance on our synthetic task called word-knowledge graph completion, which shows the superiority of simultaneously contextualizing language and knowledge representation.
• Abstract（参考訳）: BERTのような事前訓練された言語モデルに事実知識を組み込むことで、既存のモデルの多くは浅く、静的で、個別に訓練済みのエンティティ埋め込みを考慮しており、これらのモデルのパフォーマンス向上を制限している。 知識を注入する際の深い文脈化知識表現の可能性を探る研究はほとんどない。 本稿では,言語と知識の文脈的表現を拡張MLMの目的と組み合わせて学習する,文脈的言語と知識の埋め込み(CoLAKE)を提案する。 エンティティ埋め込みのみを注入する代わりに、CoLAKEは大規模な知識ベースからエンティティの知識コンテキストを抽出する。 知識コンテキストと言語コンテキストの不均一性を扱うため、統一されたデータ構造である単語知識グラフ(WKグラフ)に統合する。 CoLAKEはTransformerエンコーダを改良した大規模WKグラフで事前トレーニングされている。 我々は,知識駆動タスク,知識探索タスク,言語理解タスクについて実験を行う。 実験の結果,CoLAKEは従来のタスクよりも優れていた。 さらに,言語と知識表現を同時に扱うことの優位性を示す,単語知識グラフ補完(word-knowledge graph completion)という,我々の合成作業において驚くほど高い性能を実現している。

関連論文リスト

• Towards Knowledge-Grounded Natural Language Understanding and Generation [1.450405446885067]
  この論文は、トランスフォーマーモデルによる自然言語の理解と生成が、モデルに知識表現を組み込むことの利点について考察する。 この論文では、関連性のある、最新のエンティティの知識を取り入れることで、偽ニュース検出の恩恵を受ける。 パラメトリックな知識や蒸留された知識といった他の一般的な知識は、多言語および多言語的な知識集約的なタスクを強化することが確立されている。
  論文  参考訳（メタデータ） (2024-03-22T17:32:43Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• KALM: Knowledge-Aware Integration of Local, Document, and Global Contexts for Long Document Understanding [27.4842322089676]
  KALMは、ローカル、文書レベル、グローバルコンテキストにおける知識を共同で活用する知識認識言語モデルである。 6つの長い文書理解タスクとデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-10-08T20:51:02Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
  本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。 知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。 我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
  論文  参考訳（メタデータ） (2020-10-02T05:53:36Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。