論文の概要: On Effectively Learning of Knowledge in Continual Pre-training
- arxiv url: http://arxiv.org/abs/2204.07994v1
- Date: Sun, 17 Apr 2022 12:33:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-20 03:22:07.484687
- Title: On Effectively Learning of Knowledge in Continual Pre-training
- Title(参考訳): 継続事前学習における知識の効果的な学習について
- Authors: Cunxiang Wang, Fuli Luo, Yanyang Li, Runxin Xu, Fei Huang and Yue
Zhang
- Abstract要約: 我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。
最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
- 参考スコア(独自算出の注目度): 51.40374687930742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained language models (PLMs) like BERT have made significant progress
in various downstream NLP tasks. However, by asking models to do cloze-style
tests, recent work finds that PLMs are short in acquiring knowledge from
unstructured text. To understand the internal behaviour of PLMs in retrieving
knowledge, we first define knowledge-baring (K-B) tokens and knowledge-free
(K-F) tokens for unstructured text and ask professional annotators to label
some samples manually. Then, we find that PLMs are more likely to give wrong
predictions on K-B tokens and attend less attention to those tokens inside the
self-attention module. Based on these observations, we develop two solutions to
help the model learn more knowledge from unstructured text in a fully
self-supervised manner. Experiments on knowledge-intensive tasks show the
effectiveness of the proposed methods. To our best knowledge, we are the first
to explore fully self-supervised learning of knowledge in continual
pre-training.
- Abstract(参考訳): BERTのような事前訓練された言語モデル(PLM)は、様々な下流のNLPタスクで大きく進歩している。
しかしながら、モデルにクローゼスタイルのテストを求めることで、最近の研究では、PLMは構造化されていないテキストから知識を得るのに不足していることがわかった。
知識検索におけるplmの内部挙動を理解するために,まず,構造化されていないテキストに対する知識バーリング(k-b)トークンと知識フリー(k-f)トークンを定義し,専門家にサンプルのラベル付けを依頼する。
そして, PLM は K-B トークンに対して誤った予測をし, 自己保持モジュール内のトークンへの注意を少なくする傾向にある。
これらの観測に基づいて、モデルが構造化されていないテキストからより知識を学習するのに役立つ2つのソリューションを開発する。
知識集約型タスク実験は,提案手法の有効性を示す。
最高の知識を得るためには、私たちは継続的事前学習において知識の完全な自己監督学習を探求する最初の人です。
関連論文リスト
- Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language
Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。
どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文 参考訳(メタデータ) (2023-05-02T17:33:28Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - Knowledge Prompting in Pre-trained Language Model for Natural Language
Understanding [24.315130086787374]
知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。
このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。
これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
論文 参考訳(メタデータ) (2022-10-16T13:36:57Z) - Knowledge Prompts: Injecting World Knowledge into Language Models
through Soft Prompts [8.425194277824996]
本稿では,知識ベースからのデータに基づく自己教師付き学習を通じて,ソフトプロンプトを訓練する手法を提案する。
結果として生じるソフトナレッジプロンプト(KP)はタスク独立であり、LMの外部メモリとして機能する。
論文 参考訳(メタデータ) (2022-10-10T14:31:16Z) - DictBERT: Dictionary Description Knowledge Enhanced Language Model
Pre-training via Contrastive Learning [18.838291575019504]
事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。
辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。
我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2022-08-01T06:43:19Z) - TegTok: Augmenting Text Generation via Task-specific and Open-world
Knowledge [83.55215993730326]
本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。
本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
論文 参考訳(メタデータ) (2022-03-16T10:37:59Z) - Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。
抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
論文 参考訳(メタデータ) (2021-09-10T07:20:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。