論文の概要: A Survey of Knowledge Enhanced Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2211.05994v4
• Date: Wed, 30 Aug 2023 08:02:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 18:03:57.835457
• Title: A Survey of Knowledge Enhanced Pre-trained Language Models
• Title（参考訳）: 知識強化事前学習言語モデルに関する調査研究
• Authors: Linmei Hu, Zeyi Liu, Ziwang Zhao, Lei Hou, Liqiang Nie, and Juanzi Li
• Abstract要約: 我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
• 参考スコア（独自算出の注目度）: 78.56931125512295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Language Models (PLMs) which are trained on large text corpus via self-supervised learning method, have yielded promising performance on various tasks in Natural Language Processing (NLP). However, though PLMs with huge parameters can effectively possess rich knowledge learned from massive training text and benefit downstream tasks at the fine-tuning stage, they still have some limitations such as poor reasoning ability due to the lack of external knowledge. Research has been dedicated to incorporating knowledge into PLMs to tackle these issues. In this paper, we present a comprehensive review of Knowledge Enhanced Pre-trained Language Models (KE-PLMs) to provide a clear insight into this thriving field. We introduce appropriate taxonomies respectively for Natural Language Understanding (NLU) and Natural Language Generation (NLG) to highlight these two main tasks of NLP. For NLU, we divide the types of knowledge into four categories: linguistic knowledge, text knowledge, knowledge graph (KG), and rule knowledge. The KE-PLMs for NLG are categorized into KG-based and retrieval-based methods. Finally, we point out some promising future directions of KE-PLMs.
• Abstract（参考訳）: 自己教師あり学習法を用いた大規模テキストコーパスで学習する事前学習型言語モデル(plms)は,自然言語処理(nlp)における様々なタスクに有望な性能をもたらす。 しかしながら、膨大なパラメータを持つplmは、大量のトレーニングテキストから学んだ豊富な知識を効果的に保持することができ、微調整段階で下流タスクに役立つが、外部知識の欠如による推論能力の低下など、いくつかの制限がある。 これらの問題に対処するため、PLMに知識を組み込む研究が進められている。 本稿では,知識強化事前学習型言語モデル (ke-plm) の包括的レビューを行い,この発展分野について考察する。 自然言語理解(NLU)と自然言語生成(NLG)にそれぞれ適切な分類法を導入し,これら2つのNLPの課題を強調した。 nluでは、知識の種類を言語知識、テキスト知識、知識グラフ(kg)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。 最後に,KE-PLMの今後の方向性について述べる。

関連論文リスト

• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• Knowledge Prompting in Pre-trained Language Model for Natural Language Understanding [24.315130086787374]
  知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。 このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。 これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
  論文  参考訳（メタデータ） (2022-10-16T13:36:57Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models [185.08295787309544]
  我々は、事前訓練された言語モデルに基づく知識強化モデル(PLMKEs)の現在の進歩を要約することを目的としている。 本論では,3つの要素に関する議論に基づくPLMKEの課題について述べるとともに,NLP実践者にさらなる研究の道筋を示そうとしている。
  論文  参考訳（メタデータ） (2022-02-17T17:17:43Z)
• Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey [8.427521246916463]
  事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報表現を学習することで,新たなパラダイムを確立した。 この新しいパラダイムは、自然言語処理の分野全体に革命をもたらし、さまざまなNLPタスクに対して、新しい最先端のパフォーマンスを設定した。 この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
  論文  参考訳（メタデータ） (2021-10-16T03:27:56Z)
• A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
  知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。 これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
  論文  参考訳（メタデータ） (2021-10-01T08:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。