論文の概要: CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced Pre-Trained Language Models

• arxiv url: http://arxiv.org/abs/2009.13964v5
• Date: Wed, 5 Apr 2023 07:55:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 17:16:41.371594
• Title: CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced Pre-Trained Language Models
• Title（参考訳）: CokeBERT: 事前学習言語モデルの拡張に向けたコンテキスト知識の選択と埋め込み
• Authors: Yusheng Su, Xu Han, Zhengyan Zhang, Peng Li, Zhiyuan Liu, Yankai Lin, Jie Zhou and Maosong Sun
• Abstract要約: 我々は,コンテキスト知識を動的に選択し,テキストコンテキストに応じて知識コンテキストを埋め込む,Cokeという新しいフレームワークを提案する。 実験の結果、コークは知識駆動型NLPタスクにおいて、様々なベースラインを上回ります。 コークは、テキスト関連の知識のセマンティクスを従来のPLMよりも解釈可能な形で記述することができる。
• 参考スコア（独自算出の注目度）: 103.18329049830152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several recent efforts have been devoted to enhancing pre-trained language models (PLMs) by utilizing extra heterogeneous knowledge in knowledge graphs (KGs) and achieved consistent improvements on various knowledge-driven NLP tasks. However, most of these knowledge-enhanced PLMs embed static sub-graphs of KGs ("knowledge context"), regardless of that the knowledge required by PLMs may change dynamically according to specific text ("textual context"). In this paper, we propose a novel framework named Coke to dynamically select contextual knowledge and embed knowledge context according to textual context for PLMs, which can avoid the effect of redundant and ambiguous knowledge in KGs that cannot match the input text. Our experimental results show that Coke outperforms various baselines on typical knowledge-driven NLP tasks, indicating the effectiveness of utilizing dynamic knowledge context for language understanding. Besides the performance improvements, the dynamically selected knowledge in Coke can describe the semantics of text-related knowledge in a more interpretable form than the conventional PLMs. Our source code and datasets will be available to provide more details for Coke.
• Abstract（参考訳）: 近年,知識グラフ(KG)における余分な異種知識を利用することで,事前学習言語モデル(PLM)の強化や,知識駆動型NLPタスクにおける一貫した改善を実現している。 しかしながら、これらの知識強化 PLM の多くは KG の静的部分グラフ(知識コンテキスト)を埋め込むが、PLM が必要とする知識は特定のテキスト(テキストコンテキスト)に応じて動的に変化する可能性がある。 本稿では,plmにおける文脈知識を動的に選択し,テキスト的文脈に応じた知識コンテキストを埋め込み,入力テキストにマッチしないkgsにおける冗長かつ曖昧な知識の影響を回避できる,cokeという新しい枠組みを提案する。 実験の結果,コークは一般的な知識駆動型NLPタスクにおいて,言語理解における動的知識コンテキストの活用の有効性が示唆された。 性能改善に加えて,cokeの動的選択知識は,従来のplmよりもテキスト関連知識の意味を解釈可能な形で記述することができる。 私たちのソースコードとデータセットは、cokeのさらなる詳細を提供するために利用可能になります。

関連論文リスト

• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning [18.838291575019504]
  事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。 辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。 我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-01T06:43:19Z)
• CoSe-Co: Text Conditioned Generative CommonSense Contextualizer [13.451001884972033]
  事前訓練された言語モデル(PTLM)は、自然言語のタスクでうまく機能することが示されている。 文に条件付きCommonSense Contextualizer(CoSe-Co)を提案する。
  論文  参考訳（メタデータ） (2022-06-12T09:57:32Z)
• ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations [35.51427298619691]
  テキストデータに埋め込まれた時間的知識の強化について検討する。 文脈型言語表現(ECOLA)を用いた時間的知識埋め込みを提案する。 実験の結果,ECOLAはリンク予測タスクにおいてHits@1に関して最大287%の相対的な改善を施し,時間的埋め込みモデルを大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-03-17T20:08:25Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。