論文の概要: Knowledge Prompting in Pre-trained Language Model for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2210.08536v1
• Date: Sun, 16 Oct 2022 13:36:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 18:26:15.426237
• Title: Knowledge Prompting in Pre-trained Language Model for Natural Language Understanding
• Title（参考訳）: 自然言語理解のための事前学習言語モデルにおける知識プロンプト
• Authors: Jianing Wang, Wenkang Huang, Qiuhui Shi, Hongbin Wang, Minghui Qiu, Xiang Li, Ming Gao
• Abstract要約: 知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。 このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。 これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
• 参考スコア（独自算出の注目度）: 24.315130086787374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge-enhanced Pre-trained Language Model (PLM) has recently received significant attention, which aims to incorporate factual knowledge into PLMs. However, most existing methods modify the internal structures of fixed types of PLMs by stacking complicated modules, and introduce redundant and irrelevant factual knowledge from knowledge bases (KBs). In this paper, to address these problems, we introduce a seminal knowledge prompting paradigm and further propose a knowledge-prompting-based PLM framework KP-PLM. This framework can be flexibly combined with existing mainstream PLMs. Specifically, we first construct a knowledge sub-graph from KBs for each context. Then we design multiple continuous prompts rules and transform the knowledge sub-graph into natural language prompts. To further leverage the factual knowledge from these prompts, we propose two novel knowledge-aware self-supervised tasks including prompt relevance inspection and masked prompt modeling. Extensive experiments on multiple natural language understanding (NLU) tasks show the superiority of KP-PLM over other state-of-the-art methods in both full-resource and low-resource settings.
• Abstract（参考訳）: 知識強化事前学習言語モデル(plm)が最近注目を集め、事実知識をplmに組み込むことを目指している。 しかし、既存のほとんどの手法は複雑なモジュールを積み重ねることで固定型のPLMの内部構造を変更し、知識ベース(KB)から冗長で無関係な事実知識を導入する。 本稿では,これらの問題に対処するため,知識促進パラダイムを導入し,知識プロンプトに基づくPLMフレームワークKP-PLMを提案する。 このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。 具体的には、まず、コンテキスト毎にKBから知識サブグラフを構築する。 次に、複数の連続プロンプトルールを設計し、知識サブグラフを自然言語プロンプトに変換する。 これらのプロンプトから事実知識を更に活用するために,即時関連検査とマスク付きプロンプトモデリングを含む2つの新しい知識認識型自己指導タスクを提案する。 複数の自然言語理解(nlu)タスクに関する広範囲な実験は、フルリソースと低リソースの両方において、他の最先端メソッドよりもkp-plmが優れていることを示している。

関連論文リスト

• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases [55.942342665806656]
  KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。 検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。 KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
  論文  参考訳（メタデータ） (2023-08-17T13:07:00Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• Knowledge Prompts: Injecting World Knowledge into Language Models through Soft Prompts [8.425194277824996]
  本稿では,知識ベースからのデータに基づく自己教師付き学習を通じて,ソフトプロンプトを訓練する手法を提案する。 結果として生じるソフトナレッジプロンプト(KP)はタスク独立であり、LMの外部メモリとして機能する。
  論文  参考訳（メタデータ） (2022-10-10T14:31:16Z)
• DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning [18.838291575019504]
  事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。 辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。 我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-01T06:43:19Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。